AI, 대형 모델, 컴퓨팅 파워 등의 키워드를 이야기할 때 하드웨어 제품을 언급한다면 별 생각 없이 엔비디아를 꼽는 사람이 많을 것이다.
한 월스트리트 분석가는 이렇게 말한 적이 있습니다.
인공지능 분야에서 전쟁이 벌어지고 있는데, 엔비디아가 유일한 무기 판매상이다.
실제로 AI 시대에 엔비디아의 입지는 독특하고 흔들리기 어렵다. 그러나 이제 한 용감한 사람이 공식적으로 상황에 도전할 준비가 되었습니다.
2022년 Gavin Uberti와 Chris Zhu는 Etched.ai를 설립했습니다. 이들은 전 이베이 CEO 데빈 웨니그(Devin Wenig)를 포함해 처음부터 시드 라운드 투자로 536만 달러를 받았다.
Etched는 1억 2천만 달러의 자금 조달을 발표한 후 현재 가장 빠른 AI 칩인 Sohu를 출시했습니다.
이 소후는 수천 단어를 밀리초 안에 처리할 수 있다고 주장하는 소후가 아닙니다. 초당 500,000개 이상의 토큰을 처리하고 Llama 70B 모델을 실행할 수 있습니다.
어떤 컨셉인가요? 이는 2초 안에 성경을 쓰는 것과 같고, 1년에 15조 개의 토큰을 쓰는 것과 같습니다.
Etched 공식 웹사이트에 따르면 Sohu는 Transformer 아키텍처를 하드웨어 수준에서 통합했으며 Transformer 모델용으로 특별히 설계된 최초의 전용 칩(ASIC)입니다.
Sohu의 성능이 크게 향상되는 것은 바로 이러한 전문화입니다. NVIDIA H100에 비해 Sohu의 추론 속도는 8~10배 향상됩니다.
8개의 Sohu 칩이 장착된 서버는 160개의 NVIDIA H100 GPU를 대체할 수 있습니다.
프로그래밍 시나리오의 경우 Sohu는 몬테카를로 트리 검색을 통해 수백 개의 결과에 병렬로 응답하여 최상의 답변을 제공할 수 있습니다.
음성 비서든 지능형 고객 서비스든 Sohu는 수천 개의 단어를 밀리초 안에 분석할 수 있습니다.
또한 Sohu는 매우 빠른 속도로 실시간으로 새로운 콘텐츠를 생성할 수 있는 다중 추측 디코딩을 지원합니다.
세계 최초의 Transformer ASIC(Application-Specific Integrated Circuit) 칩인 각 Sohu 칩에는 코어가 하나만 있고 TSMC의 4nm 제조 공정을 사용하며 144GB HBM3E 고대역폭 메모리가 장착되어 있습니다.
Nvidia의 차세대 Blackwell(B200) GPU와 비교하면 Sohu는 훨씬 더 빠르고 저렴합니다.
단 2년 만에 Etched는 처음부터 지금의 모습으로 성장했는데, 이는 정말 "기적"입니다.
Etched의 창립자인 Gavin Uberti와 Chris Zhu는 모두 중국계 출신이며 풍부한 배경을 갖고 있습니다.
Gavin Uberti와 Chris Zhu는 둘 다 Harvard University에 다녔으며 학부 시절을 보냈습니다. 나중에 그들은 어떤 이유로 1년을 쉬고 OctoAI에서 인턴십을 찾기로 결정했습니다.
당시 두 사람의 작업 내용은 주로 ApacheTVM 오픈소스 컴파일러와 마이크로커널 개발을 담당했다. 그러나 인턴십 동안 그들은 Arm의 지침 세트 중 일부 설계가 매우 비효율적이어서 업무 효율성이 매우 낮다는 사실을 발견했습니다.
Gavin Uberti는 "이 문제는 해결될 수 없습니다. 저는 일할 때마다 이 문제에 직면해야 하기 때문에 Chris와 저는 우리가 더 잘해야 한다고 생각하게 됩니다."라고 말했습니다.
이 문제를 어떻게 해결할지 고민하던 중, 그들은 갑자기 이 아이디어를 AI 가속 칩 설계에 사용할 수 있다는 사실을 발견했습니다.
그래서 두 사람은 하버드를 중퇴하고 LLM에 초점을 맞춘 AI 칩 스타트업 회사인 Etched를 설립했습니다.
Gavin Uberti의 견해에 따르면 일반 공개 버전 디자인은 획기적인 성능 향상을 가져올 수 없으므로 Transformer 아키텍처에서 전용 가속 칩을 개발했습니다.
Gavin Uberti는 이렇게 말한 적이 있습니다.
칩이 AI 작업을 처리할 수 있도록 단일 아키텍처에 많은 노력을 기울여야 합니다. 목표는 너무 크고, 칩은 보다 구체적인 작업을 위해 설계되어야 합니다… 우리는 Nvidia가 결국 이것을 할 것이라고 생각합니다.
ChatGPT, Claude, Gemini 및 Sora와 같은 현재 주류 AI 제품은 모두 Transformer 아키텍처에 의해 구동됩니다.
세계 최초의 Transformer ASIC 칩으로서 이러한 뛰어난 결과와 함께 Etched는 자연스럽게 많은 주목을 받았습니다.
6월 25일, Etched는 1억 2천만 달러 규모의 시리즈 A 자금 조달을 완료했다고 발표했습니다. 자금 조달은 뉴욕 벤처 캐피탈 회사인 Primary Venture Partners와 Positive Sum Ventures가 공동 주도했습니다.
벤처 캐피털리스트 Peter Thiel, GitHub CEO Thomas Dohmke, 자율주행차 회사 Cruise 공동 창립자 Kyle Vogt, Quora 공동 창립자 Charlie Cheever 등 엔젤 투자자 라인업도 매우 강력합니다.
Etched는 2022년 설립 당시 Transformer가 지배할 미래를 구상했습니다. 개빈 우베르티(Gavin Uberti)는 "우리는 인공지능에 가장 큰 투자를 하고 있다"고 말했다.
내기를 제대로 하면 소후가 세상을 바꿀 것입니다. 이것이 바로 우리가 감히 내기를 하는 이유입니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo