몇 주 전 Microsoft가 Copilot+ PC를 발표했을 때 한 가지 질문이 가장 컸습니다 . 왜 이러한 AI 애플리케이션을 GPU에서 실행할 수 없습니까? Computex 2024 에서 Nvidia는 마침내 답변을 제공했습니다.
Nvidia와 Microsoft는 개발자가 RTX 그래픽 카드 에서 AI 가속 앱을 실행할 수 있는 API(응용 프로그래밍 인터페이스)를 개발하기 위해 협력하고 있습니다. 여기에는 Copilot 런타임의 일부인 다양한 SLM(Small Language Model)이 포함되며, 이는 호출 및 실시간 캡션과 같은 기능의 기초로 사용됩니다.
개발자는 툴킷을 사용하여 앱이 NPU 대신 GPU에서 로컬로 실행되도록 허용할 수 있습니다. GPU의 AI 기능은 일반적으로 NPU보다 높기 때문에 더 강력한 AI 애플리케이션을 사용할 수 있을 뿐만 아니라 현재 Copilot+ 범위에 속하지 않는 PC에서 실행할 수 있는 기능도 제공됩니다.
정말 좋은 움직임이에요. Copilot+ PC에는 현재 최소 40TOPS(초당 테라 연산)를 수행할 수 있는 NPU(신경 처리 장치)가 필요합니다. 현재로서는 Snapdragon X Elite만이 해당 기준을 충족합니다. 그럼에도 불구하고 GPU는 훨씬 더 높은 AI 처리 기능을 갖추고 있어 저가형 모델도 100TOPS에 도달하고 고급 옵션은 훨씬 더 높게 확장됩니다.
GPU에서 실행되는 것 외에도 새로운 API는 Copilot 런타임에 검색 증강 생성(RAG) 기능을 추가합니다. RAG는 AI 모델이 로컬에서 특정 정보에 액세스할 수 있도록 하여 보다 유용한 솔루션을 제공할 수 있도록 합니다. 올해 초 Nvidia의 RTX 채팅을 통해 RAG가 전체 디스플레이로 표시되는 것을 보았습니다.
API 외에도 Nvidia는 Computex에서 RTX AI 툴킷을 발표했습니다. 6월에 출시되는 이 개발자 제품군은 개발자가 특정 애플리케이션에 맞게 AI 모델을 조정할 수 있는 다양한 도구와 SDK를 결합합니다. 엔비디아는 RTX AI 툴킷을 사용하면 개발자가 오픈 소스 솔루션을 사용할 때보다 4배 더 빠르고 3배 더 작은 모델을 만들 수 있다고 말합니다.
우리는 개발자가 최종 사용자를 위한 특정 AI 애플리케이션을 구축할 수 있는 도구의 물결을 보고 있습니다. 그 중 일부는 이미 Copilot+ PC에 나타나고 있지만 내년에는 훨씬 더 많은 AI 애플리케이션을 보게 될 것으로 예상됩니다. 결국 우리는 이러한 앱을 실행할 수 있는 하드웨어를 보유하고 있습니다. 이제 소프트웨어만 있으면 됩니다.