Tesla 투자자 Sawyer Merritt가 목요일에 X(이전 Twitter)에 게시한 글에 따르면 , Tesla와 xAI 사이에서 Elon Musk의 인공 지능 열망으로 인해 올해 훈련 및 추론 컴퓨팅 기능을 온라인으로 가져오는 데 약 100억 달러가 소요되었다고 합니다.
Merritt는 "Tesla는 이미 Giga Texas의 29,000개 유닛 Nvidia H100 클러스터에 배치되어 예정보다 앞서 훈련 중입니다. 10월 말까지 H100 용량이 50,000개, 12월까지 H100에 상응하는 용량이 약 85,000개에 달할 것입니다."라고 Merritt는 말했습니다.
올해 말까지 Elon Musk의 회사(Tesla 및 xAI)는 2024년에만 약 100억 달러 상당의 교육 컴퓨팅 용량을 온라인으로 가져올 것입니다.
Tesla는 이미 Giga Texas의 29,000개 유닛으로 구성된 Nvidia H100 클러스터에 예정보다 앞서 배포 및 교육을 진행하고 있습니다. pic.twitter.com/UgvmsBLuQp
— 소여 메리트(@SawyerMerritt) 2024년 10월 29일
Tesla는 또한 8월에 Cortex AI 클러스터를 공개했습니다. 이 클러스터는 회사의 완전 자율 주행 시스템을 교육하는 데 활용되고 Tesla가 자체 개발한 또 다른 20,000개의 Dojo AI 칩과 함께 50,000개의 Nvidia H100 GPU를 사용합니다. Tesla가 9월에 공개한 Colossus 슈퍼컴퓨터는 Memphis만큼 많은 H100 GPU를 사용하며 앞으로 몇 달 안에 50,000개의 H100 및 50,000개의 H200 GPU로 확장될 예정입니다.
반면 xAI는 지난 7월 테네시주 멤피스에 있는 오래된 Electrolux 생산 시설에 위치한 Gigafactory of Compute 에서 Memphis 슈퍼컴퓨터를 조립하기 시작했습니다 . Musk는 Memphis가 100,000개의 Nvidia H100 GPU에서 실행되기 때문에 "세계에서 가장 강력한 AI 훈련 클러스터"라고 주장하며 Musk는 짧은 시일 내에 그 용량을 두 배로 늘리겠다고 약속했습니다 . 이는 9월에 온라인에 출시되었으며 이후 "올해 12월까지 모든 지표에서 세계에서 가장 강력한 AI"를 구축하는 임무를 맡았습니다. 아마도 Grok 3 입니다. xAI는 Memphis의 구축 비용이 얼마인지 공개하지 않았지만 Tom's Hardware는 회사가 GPU에만 최소 20억 달러를 지출한 것으로 추정합니다.
100억 달러라는 수치는 실제로 지난 4월 머스크가 테슬라가 올해 AI 컴퓨팅 용량에 지출할 것이라고 주장한 금액의 절반에 해당합니다. “Tesla는 올해 훈련과 추론 AI를 결합하는 데 약 100억 달러를 지출할 것입니다. 후자는 주로 자동차에 사용됩니다.” 라고 그는 당시 게시했습니다 . "이 수준에서 비용을 지출하지 않고 효율적으로 지출하지 않는 회사는 경쟁할 수 없습니다."
그런 측면에서 볼 때 머스크의 AI 노력은 이미 마이크로소프트, 오픈AI, 구글과 같은 자금력이 풍부한 경쟁업체들에 뒤처지고 있습니다. 예를 들어, 지난 7월 분석가들은 OpenAI가 AI 컴퓨팅에 약 70억 달러를 지출하고 기타 운영 비용으로 약 50억 달러의 손실을 입을 것으로 추정했습니다 . 그러나 회사는 10월 초 최근 투자 자금이 1,570억 달러의 사후 평가 기준으로 총 66억 달러에 달했다고 발표했습니다 . “새로운 자금 지원을 통해 우리는 최첨단 AI 연구에서 리더십을 두 배로 강화하고 컴퓨팅 용량을 늘리며 사람들이 어려운 문제를 해결하는 데 도움이 되는 도구를 계속 구축할 수 있게 될 것입니다.”라고 회사는 발표 게시물 에 썼습니다.
목요일 로이터의 보고서에 따르면 Microsoft와 Meta는 각자의 AI 컴퓨팅 기능을 구축하기 위해 자유롭게 비용을 지출하고 있습니다. 마이크로소프트는 2020년 이전 연간 지출했던 만큼의 자본을 분기마다 지출하고 있는 것으로 알려졌다. 마이크로소프트는 또한 2024년 1분기에 자본 지출이 5% 이상 증가해 200억 달러에 달했으며 더 많은 지출을 할 것으로 예상하고 있다고 보고했다. 2분기에. 반면 메타는 2017년까지 매년 그랬던 것처럼 2024년 매 분기마다 많은 자본을 지출했다.
구글의 경우 2024년 3분기 자본 지출에 130억 달러를 지출한 것으로 알려졌는데 , 이는 지난해 같은 기간보다 63% 증가한 수치입니다. 게다가 회사는 연초부터 컴퓨팅 인프라에 약 380억 달러를 투자했는데, 이는 2023년 첫 3분기보다 80% 증가한 수치입니다. 갑자기 한 쌍의 회사와 소수의 프로젝트 사이에 100억 달러가 거의 이상해 보입니다.