xAI CEO 엘론 머스크(Elon Musk)가 트위터를 통해 자신의 회사가 지난 주말 머스크가 세계에서 가장 강력하다고 주장하는 Colossus AI 교육 클러스터를 온라인으로 성공적으로 가져왔다고 발표하면서 AI 패권 경쟁이 다시 한 번 가속화되고 있습니다.
이번 주말 @xAI 팀은 Colossus 100k H100 교육 클러스터를 온라인으로 가져왔습니다. 처음부터 끝까지 122일 만에 완성됐습니다.
Colossus는 세계에서 가장 강력한 AI 훈련 시스템입니다. 또한 몇 달 안에 크기가 200k(50k H200s)로 두 배 증가할 것입니다.
훌륭한…
— 엘론 머스크(@elonmusk) 2024년 9월 2일
“이번 주말 @xAI 팀은 Colossus 100k H100 교육 클러스터를 온라인으로 가져왔습니다. 처음부터 끝까지 122일 만에 완성됐습니다. Colossus는 세계에서 가장 강력한 AI 훈련 시스템입니다. 또한 몇 달 안에 크기가 200k(50k H200s)로 두 배 증가할 것입니다. 팀, Nvidia 및 많은 파트너/공급업체의 훌륭한 작업입니다.”라고 Musk는 X에 게시했습니다.
Musk의 "가장 강력하다"는 주장은 시스템에 사용되는 GPU 수에 기반합니다. 100,000개의 Nvidia H100을 구동하는 Colossus는 현재까지 개발된 다른 AI 시스템보다 더 큰 것으로 추정됩니다.
머스크는 회사의 AI 노력을 가속화하기 위해 2023년 4월부터 수만 개의 GPU를 구매하기 시작했습니다. 업계 전반에 걸쳐 AI 개발을 6개월간 '일시 중지'할 것을 요구하는 공개 서한을 작성한 직후였습니다. 그해 3월 머스크는 AI를 활용해 트위터에서 "여론 조작을 탐지하고 강조"할 것이라고 주장했지만 GPU 슈퍼컴퓨터는 LLM(대형 언어 모델) Grok을 훈련하는 데에도 활용될 가능성이 높습니다.
Grok은 ChatGPT, Gemini, Llama 3.1 및 Claude와 같은 경쟁사의 성공에 대응하여 2023년 xAI에 의해 소개되었습니다. 회사는 8월에 업데이트된 Grok-2를 베타 버전으로 출시했습니다. xAI는 최근 블로그 게시물에서 “우리는 Grok-2를 도입하여 AI 개발의 선두에 서게 되었습니다.”라고 썼습니다. “우리의 초점은 새로운 컴퓨팅 클러스터를 통해 핵심 추론 기능을 향상시키는 것입니다. 우리는 앞으로 몇 달 동안 더 많은 개발 내용을 공유할 것입니다.”
Musk는 Tesla를 "AI 및 로봇 공학의 리더"로 발전시킬 수 있다고 주장합니다. 그러나 CNBC 의 최근 보고서에 따르면 Musk는 Nvidia의 인기 GPU 출하량을 전기 자동차 제조업체에서 xAI 및 Twitter로 전환하고 있다고 합니다. 그렇게 하면 자율주행차 기술과 옵티머스 휴머노이드 로봇을 개발하는 데 필요한 컴퓨팅 리소스를 설치하려는 Tesla의 노력이 지연될 수 있습니다.
CNBC가 입수한 12월의 Nvidia 메모에 따르면 Elon은 원래 Tesla용으로 예정된 배송된 H100 GPU 12,000개를 X로 리디렉션하여 X와 Tesla에서 X H100 GPU 클러스터 배포를 우선시합니다. "그 대가로 [1월]과 6월에 예정된 12,000 H100의 원래 X 주문은 Tesla로 리디렉션됩니다."