Nvidia는 GTC 2024에서 Latte3D라고 불리는 새로운 생성 AI 모델을 공개했습니다. Latte3D는 극단적인 스테로이드의 ChatGPT 인 것으로 보입니다. 나는 간단하고 짧은 텍스트 프롬프트를 받아들이고 이를 1초 안에 3D 객체와 동물로 바꾸는 텍스트-3D 모델입니다. 이전 버전보다 훨씬 빠른 Latte3D는 다양한 업계의 제작자에게 유용할 수 있는 가상 3D 프린터처럼 작동합니다.
Latte3D는 비디오 게임, 디자인 프로젝트, 마케팅, 기계 학습 및 로봇 공학 교육 작업을 하는 다양한 유형의 제작자를 위해 3D 모델 생성을 단순화하기 위해 만들어졌습니다. Nvidia의 모델 데모에서는 사용이 매우 간단해 보입니다. 빠른 텍스트 프롬프트에 따라 AI는 3D 모델을 생성하고 얼마 지나지 않아 훨씬 더 자세한 내용으로 모델을 마무리합니다. 최종 결과는 OpenAI의 Sora 만큼 생생하지는 않지만 의도된 것은 아닙니다. 이는 처음부터 자산을 구축하는 대신 자산 생성 속도를 높이는 방법입니다.
이 모델은 사용자가 선택할 수 있는 여러 가지 옵션을 생성하며 Nvidia는 이러한 모양이 "몇 분 내에 더 높은 품질을 위해 최적화"될 수 있다고 말합니다. 그런 다음 디자인을 Nvidia의 Omniverse와 같은 다른 플랫폼으로 내보낼 수 있으며 원하는 최종 결과에 맞게 조정할 수 있습니다. Nvidia는 Ada A100 Tensor Core GPU를 사용하여 Latte3D를 교육했으며 실제 사용자와 상호 작용할 수 있도록 ChatGPT 프롬프트를 사용하여 교육을 지원했습니다.
현재 Latte3D는 객체와 동물만 생성할 수 있습니다. 이를 위해 다양한 동물, 질감 및 개체 유형을 식별하는 견고한 작업을 수행하는 것으로 보입니다. Nvidia는 아미구루미(크로셰) 일반 학이나 종이접기 스핑크스 고양이와 같은 물체를 선보임으로써 이러한 기능을 과시했습니다. 이 모델은 다양한 종을 인식하도록 학습되어 이탈리아 그레이하운드와 시바견의 차이를 구분할 수 있습니다.
Latte3D를 사용하여 더 많은 작업을 수행하려는 제작자는 식물이나 집안 물건 등 다양한 데이터 세트에서 Latte3D를 훈련하고 나중에 자신의 목적에 맞게 사용할 수 있습니다. Nvidia는 여기서 개인 비서 로봇을 배포하기 전에 훈련시키는 것과 같은 몇 가지 흥미로운 사용 사례를 제시합니다. Latte3D가 게임 개발자에게 유용할 것이라고 상상하기는 쉽지만 잠재력은 단순한 게임 시나리오를 훨씬 뛰어넘습니다.
Nvidia의 AI 연구 담당 부사장인 Sanja Fidler는 Latte3D가 이전 제품에 비해 얼마나 빠른지 설명했습니다. “1년 전만 해도 AI 모델이 이 정도 품질의 3D 비주얼을 생성하는 데 한 시간이 걸렸습니다. 그리고 현재의 기술 수준도 그렇습니다. 이제 약 10~12초입니다. 이제 우리는 훨씬 더 빠르게 결과를 생성할 수 있습니다.”라고 Fidler는 말했습니다.
게임 개발에 AI를 사용하는 것과 관련된 최근 발표는 모두 매우 획기적이며, Nvidia의 Latte3D는 언젠가 게임 제작 프로세스를 완전히 바꿀 수 있는 점점 늘어나는 도구 목록에 합류합니다. 예를 들어 Nvidia는 최근 AI에 의해 생성된 대화가 포함된 NPC(비플레이어 캐릭터)를 공개했습니다 . 한편, 언리얼 엔진의 최신 업데이트는 머신러닝의 도움을 받아 실시간으로 게임에서 영화 품질의 비주얼을 생성할 수 있습니다 .