지난 이틀 동안 우리는 GTC 2024에서 황런순(Huang Renxun)의 연설을 다시 한 번 검토했습니다. 제품에 대한 심층적인 분석과 해석을 진행한 결과, 당시 늦게까지 깨어 있으면서 놓쳤던 몇 가지 하이라이트를 발견했습니다.
첫째, 황씨의 화법은 유머러스하고 자연스러우며 의사소통이 매우 잘 되어 기술 제품 출시 컨퍼런스를 콘서트로 만들 수 있다는 점이다.
두 번째는 새로 출시된 Blackwell 아키텍처와 GPU 시리즈를 이전 세대 제품과 결합하여 검토하는 것인데, 컴퓨팅 성능, 비용 및 미래 성능이 상상을 훨씬 뛰어넘는다고밖에 말할 수 없습니다.
NVIDIA라는 이름처럼 NVIDIA의 처음 두 글자 N과 V는 Next Version "차세대"를 나타냅니다.
지난 몇 년간의 GTC와 마찬가지로 엔비디아도 예정대로 더 높은 성능, 더 나은 성능을 갖춘 차세대 제품을 출시했지만, 블랙웰은 차세대 제품뿐 아니라 다음 시대를 대표한다는 점에서 이전과는 완전히 다르다.
지구상에서 가장 강력한 GPU를 재발견하세요
자기소개는 보통 이름으로 시작하는데, 여기서부터 가장 강력한 최신 AI 칩부터 시작해 보겠습니다.
블랙웰의 정식 이름은 데이비드 해럴드 블랙웰(David Harold Blackwell)이며, 미국의 통계학자이자 라오-블랙웰 정리의 제안자 중 한 명입니다. 더 중요한 것은 그가 미국 국립과학원(National Academy of Sciences)의 최초 흑인 회원이자 버클리 캘리포니아 대학교(University of California, Berkeley)의 최초 흑인 종신 교수였다는 것입니다.
GTC 2024에서 공개된 '블랙웰(Blackwell)'은 여기서 유래됐다. 블랙웰 자신이 엔비디아에 눈에 띄는 공헌을 한 것이 아니라 엔비디아의 네이밍 시스템에 역사상 몇몇 유명한 과학자(또는 수학자)의 이름이 사용됐다는 점이다. GPU 마이크로아키텍처를 이름으로 명명하는 것이 관례가 되었습니다.
2006년부터 NVIDIA는 Tesla, Fermi, Kepler, Maxwell, Pascal, Volta, Turing, Ampere 및 이러한 학계 리더에 대응하여 Tesla, Fermi, Kepler, Maxwel, Pascal, Volta, Turing 및 Ampere 아키텍처를 연속적으로 출시했습니다.
하나는 유명하다는 점, 다른 하나는 소재가 있다는 점, 지정상품과 1:1 대응 여부는 실제로 그렇게 강한 상관관계는 아니다.
위에서 언급한 명명된 개체는 개별 칩이 아니라 전체 GPU 아키텍처(Huang Renxun은 이를 플랫폼이라고 부름)를 참조한다는 점을 여기서 강조할 필요가 있습니다.
칩 아키텍처(Chip Architecture)는 칩의 기본 설계 및 조직 구조를 말하며, 다양한 아키텍처에 따라 칩의 성능, 에너지 효율성, 처리 능력 및 호환성이 결정되며 애플리케이션의 실행 방법 및 효율성에도 영향을 줍니다.
쉽게 말하면 경기장(칩을 만드는 원료)을 소유하고 완전히 변형시키려는 계획이며, 그 땅을 콘서트로 사용할지, 스포츠 게임을 할 것인지(칩의 목적)에 따라 경기장 레이아웃이 결정되고, 인사 채용, 장식, 발표 방식(칩 아키텍처) 등이 있습니다.
따라서 칩 아키텍처와 칩 설계는 상호 연관되어 있으며 공동으로 칩 성능을 결정합니다.
예를 들어 자주 듣는 x86과 ARM은 CPU용으로 설계된 두 가지 주류 아키텍처로, 전자는 강력한 성능을 갖고 후자는 탁월한 에너지 소비 제어 기능을 갖추고 있으며 각각 고유한 장점이 있습니다.
여러 세대의 NVIDIA 기술을 기반으로 구축된 Blackwell 아키텍처의 칩 B200 및 B100은 뛰어난 성능, 효율성 및 확장성을 갖추고 있으며 AIGC의 새로운 장을 열었습니다.
그런데 왜 'AI 핵폭탄'이라고 불리는 걸까요? 새로운 GPU는 얼마나 강력합니까? 이전 세대 제품에 비해 좀 더 직관적인 느낌을 갖게 될 것입니다.
2022 GTC에서 Huang Renxun은 새로운 아키텍처 Hopper와 새로운 칩 H100을 출시했습니다.
1. TSMC의 4nm 공정을 사용하여 제조되었으며 이전 세대 A100보다 260억 개가 더 많은 800억 개의 트랜지스터를 통합합니다.
2. H100의 FP16, TF32, FP64 성능은 A100의 3배(각각 2000TFLOPS, 1000TFLOPS, 60TFLOPS)입니다. 3950억 개의 매개변수가 있는 대규모 모델을 훈련하는 데 단 하루밖에 걸리지 않습니다. Lao Huang의 원래 말에서 “20 사진은 "인터넷 트래픽"이라는 세계의 데이터를 전달할 수 있습니다.
3. H100의 출시로 NVIDIA의 시장 가치는 미화 2조 달러 이상으로 상승하여 Microsoft와 Apple에 이어 세 번째로 큰 기술 회사가 되었습니다.
시장조사업체 옴디아(Omdia)의 통계 분석에 따르면 엔비디아는 지난해 3분기 H100과 A100 GPU를 약 50만개 팔았고, 이들 그래픽카드의 총 무게는 1000톤에 육박했다.
지금까지 Hopper H100은 여전히 판매 중인 GPU 중 가장 강력한 GPU입니다.
Blackwell B200은 기존 제품 반복을 훨씬 뛰어넘는 성능 향상으로 다시 한번 "가장 강력한" 새로운 기록을 세웠습니다.
공정 기술 측면에서 B200 GPU는 2세대 TSMC 4nm 공정을 사용해 포토리소그래피 한계 크기를 2배로 늘린 베어 웨이퍼를 사용하고, 10TB/s의 칩 간 상호 연결 기술을 통해 연결해 통합 GPU를 구성한다. 총 2,080억 개의 트랜지스터(단일 칩은 1,040억 개)를 탑재해 Hopper H100을 만드는 데 사용된 N4 기술에 비해 성능이 6% 향상되었습니다. , 전반적인 성능이 약 250% 향상되었습니다.
성능면에서 2세대 Transformer 엔진은 Blackwell이 새로운 4비트 부동 소수점 AI를 통해 두 배의 계산 및 모델 크기 추론 기능을 지원할 수 있도록 합니다. 단일 칩 AI 성능은 최대 20PetaFLOPS(20× 초당 10^15 플로트), 포인트 연산)으로 이전 세대 Hopper H100 대비 4배, AI 추론 성능은 이전 세대 대비 30배 향상되었습니다.
에너지 소비 제어 관점에서 볼 때, 과거에는 1조 8천억 개의 매개변수 모델을 훈련하는 데 8,000개의 Hopper GPU와 15MW의 전력이 필요했지만, 이제는 2,000개의 Blackwell GPU로 이를 수행할 수 있으며, 전력 소비는 단 4MW로 직접적으로 96%를 절감합니다.
따라서 “블랙웰은 세계에서 가장 강력한 칩이 될 것”이라는 황런순의 발언은 단순한 거짓말이 아니라 사실이 됐다.
가격이 저렴하지 않고 사용이 간편하지 않음
금융 서비스 회사인 Raymond James의 분석가들은 B200의 비용을 추정했습니다.
엔비디아의 H100 제조 원가는 약 US$3,320이며, 가격은 US$25,000~US$30,000 사이이며, 둘 사이의 성능 차이로 볼 때 B200의 원가는 50~60% 정도 높을 것으로 추정된다. H100은 약 US$6,000입니다.
황런순은 기자회견 후 CNBC와의 단독 인터뷰에서 블랙웰 GPU의 가격이 미화 3만~4만 달러 정도이며, 새로운 아키텍처 전체의 연구개발 비용이 약 100억 달러에 달한다고 밝혔습니다.
우리는 이를 가능하게 하기 위해 몇 가지 새로운 기술(새로운 아키텍처)을 발명해야 했습니다.
과거의 리듬에 따르면 엔비디아는 약 2년마다 새로운 세대의 AI 칩을 출시할 예정이다.이전 세대 제품에 비해 최신 블랙웰은 컴퓨팅 성능과 에너지 소비 제어가 대폭 향상됐다.보다 직관적으로 두 GPU 블랙웰을 결합한 것이다. 후퍼보다 거의 두 배나 큽니다.
높은 비용은 칩과 관련된 것뿐만 아니라 데이터 센터를 설계하고 다른 회사의 데이터 센터에 통합하는 것과도 관련이 있습니다. 왜냐하면 Huang Renxun의 관점에서 Nvidia는 칩을 만드는 것이 아니라 데이터 센터를 구축하고 있기 때문입니다.
Nvidia의 최신 재무 보고서에 따르면, 4분기 매출은 전년 대비 265% 증가한 221억 달러를 기록했습니다. 4분기 순이익은 123억 달러로 전년 동기 대비 765% 증가했다.
가장 큰 수익원인 데이터센터 부문은 3분기보다 27%, 지난해 같은 기간보다 409% 증가한 184억 달러를 기록했다.
R&D 비용은 높지만 긍정적인 수익은 더 높습니다.
현재 엔비디아가 구축하고 있는 데이터센터는 풀스택 시스템과 모든 소프트웨어를 포함해 완전한 시스템이고, 블랙웰이나 GPU는 그 일부일 뿐이다.
데이터 센터는 여러 모듈로 분해되어 사용자는 자신의 필요에 따라 해당 소프트웨어 및 하드웨어 서비스를 자유롭게 선택할 수 있습니다. NVIDIA는 다양한 요구 사항에 따라 네트워크, 스토리지, 제어 플랫폼, 보안 및 관리를 조정하고 전담 팀을 보유합니다. 기술 지원을 제공합니다.
이러한 글로벌 비전과 맞춤형 서비스가 좋은지 나쁜지는 데이터가 모든 것을 말해 준다. 3월 5일 현재 엔비디아의 시장 가치는 알파벳, 아마존 등 거대 기업을 넘어섰고, 사우디 아람코를 제치고 세계 3위 기업이 됐다. 두 거대 기술 기업인 Microsoft와 Apple에 이어 두 번째로 큰 시장 가치를 합친 금액은 2조 4천억 달러입니다.
현재 글로벌 데이터센터 시장 규모는 약 2000억 유로(약 7873억 위안)로 엔비디아도 그 일부로, 황런순은 이 시장이 앞으로 1~2조 달러 규모로 성장할 것으로 내다봤다.
Nvidia CFO Kress의 분석:
회계연도 4분기의 데이터 센터 수익은 주로 생성 AI 및 관련 교육에 의해 주도되었습니다. 우리는 지난 해 데이터 센터 수익의 약 40%가 AI에서 파생된 것으로 추정합니다.
한 달도 채 지나지 않아 황런순(Huang Renxun)도 재무 보고서에 언급했습니다.
가속 컴퓨팅과 생성 AI는 전 세계 기업, 산업, 국가 전반에 걸쳐 수요가 급증하면서 전환점에 도달했습니다.
실제로 커스터마이징은 엔비디아만의 전유물은 아니지만, AI 시대에 '머리부터 발끝까지' 서비스를 제공할 수 있는 기업은 거의 남지 않았는데, 엔비디아도 그 중 하나다.
돼지가 이륙하려면 먼저 바람을 타고 있어야 합니다.
가상현실과 고성능 컴퓨팅, 인공지능의 교차점에서 GPU는 AI 컴퓨터의 두뇌로 CPU를 대체하기도 한다.
제너레이티브 AI가 다양한 산업계에서 뜨거운 논의를 불러일으킨 핵심 이유는 채팅, 카피라이팅, 그림 그리기, 영상 제작, 조건 분석, 연구, 요약까지 모두 '인간'처럼 일하고 학습하기 시작했기 때문이다. 그 중 흥미로운 결과는 이를 뒷받침하기 위해 천문학적인 양의 샘플 데이터가 필요하다는 것입니다.
예를 들어, '아이패너'라는 이름이 기억난다면, 공개 계정에서 매일 푸시되는 정보가 반복되면서 기억력이 강화되었기 때문일 수도 있고, '아이패너'라는 조합을 본 적이 없기 때문일 수도 있다. Ai'와 이전의 'Fan'er'는 참신한 느낌입니다. 그 느낌이 깊은 인상을 남길 수도 있고, 주황색 로고가 독특한 시각적 상징을 남길 수도 있습니다.
단순한 작은 디테일 하나하나가 마음 속에 '팬'이라는 이미지를 통합하지만, 국가 기술 언론 정보가 뒤섞여 있을 때 혼란을 피하기 위해 인상을 깊게 하려면 더 많은 기호가 필요합니다.
AI의 딥 러닝은 아마도 이 논리를 따르며, GPU는 엄청난 양의 정보를 처리하는 데 가장 적합한 선택입니다.
OpenAI가 AIGC에 불을 붙인 이후 대부분의 유명 기업은 크고 작은 자체 모델을 빠르게 출시하기 시작했으며 스마트 자동차, 번역 소프트웨어, 전자 문서, 모바일 도우미, 심지어 청소 로봇에도 AI가 있습니다.
GPU는 하루아침에 글로벌 경쟁의 대상이 된 듯, 시장조사업체 옴디아(Omdia)의 통계에 따르면 텐센트(Tencent), 알리바바(Alibaba), 바이두(Baidu), 바이트댄스(ByteDance), 테슬라(Tesla), 메타(Meta), 마이크로소프트(Microsoft)가 각각 15만대를 구매했다.H100 GPU(작년 가장 강력한 칩).
기술적 원리와 시대적 배경이 함께 GPU 폭발을 촉진해 엔비디아의 '그래픽 카드 제국'을 탄생시켰다. Wells Fargo의 통계에 따르면 Nvidia는 현재 데이터 센터 AI 시장에서 98%의 시장 점유율을 차지하고 있습니다.
바람 배출구 위에 서면 돼지도 날 수 있다.
하지만 한 산업에서 기업의 점유율이 100%에 가까울 때는 선두에 서는 것만큼 중요한 이유가 있어야 합니다.
1999년 엔비디아는 GPU 개념 제안에 앞장섰고, 2006년 CUDA를 출시했다. GPU를 기반으로 언어를 구축하기 위한 프로그램을 작성하면서 GPU는 이미지 처리라는 유일한 목적에서 벗어나 고성능 컴퓨팅이 그래픽 카드의 세계로 들어왔습니다.
2016년 알파고의 승리, 2017년 비트코인의 급등, 채굴 붐 등 이 시기 우리는 자율주행 시장에 베팅했고, 2023년 ChatGPT 등 대형 AI 모델이 등장하기 전까지 엔비디아는 수확의 순간을 맞이했습니다. 몇 년 전에 심은 씨앗입니다.
아웃렛은 중요하지만 미래 지향적인 시장 레이아웃, 다양한 응용 분야, 막대한 투자와 혁신, 적절하지 않은 링크는 만점에 가까운 현재 시장 신화를 만들어 내지 못할 것입니다.
그러나 엔비디아로서는 시대의 갈림길에서 어떻게 선도적 위치를 유지할 수 있는가가 가장 중요한 문제이다.
Blackwell은 결과를 통합하는 핵심 단계입니다. 많은 제조업체가 주문한 H100을 받기 전에 B200 및 B100의 조립 라인이 이미 시작되었습니다.
연설에서 Huang Renxun은 이전 재무 보고서에서 "범용 컴퓨팅이 병목 현상에 도달했다"는 점을 반복했습니다.
이제 우리는 더 큰 모델과 더 큰 GPU가 필요하고 GPU를 함께 쌓아야 합니다.
이는 비용을 줄이는 것이 아니라 규모를 늘리는 것입니다.
여기에는 약간의 겸손이 있지만 물론 시장에서도 엄청난 수요가 있습니다.
현재 OpenAI의 가장 큰 모델은 이미 1.8T(조)개의 매개변수를 보유하고 있으며 수십억 개의 토큰(문자열)을 처리해야 합니다. PetaFLOP(페타플롭스) 수준의 GPU를 사용하더라도 이러한 대규모 모델을 훈련하려면 완료하는 데 1,000년이 필요합니다.
Hopper는 훌륭하지만 더 강력한 GPU가 필요합니다.
GTC 2024에서 제기된 첫 번째 논의의 물결은 지난 며칠 동안 서서히 사라졌으며, 컨퍼런스에서 Blackwell GPU 시리즈, 5세대 NVLink 및 RAS 엔진이 시장에 출시되면 더 많은 것을 가져올 것으로 예상됩니다. ; '생성 AI가 도달한 전환점'이 세상에 얼마나 많은 놀라움과 변화를 가져올지 예측하기 어렵습니다.
AIGC가 터지는 순간, 그리고 AGI가 도래하기 직전, 엔비디아가 쏘아올린 AI 폭죽의 줄이 처음으로 폭발했다.
# aifaner 공식 위챗 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠를 최대한 빨리 제공해 드리겠습니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo