AI 이미지 생성 에 대한 Meta의 최신 진출은 빠른 것입니다. 이 회사는 화요일에 입력 텍스트를 1분 이내에 출력할 수 있는 고화질 3D 이미지로 변환하는 "최첨단 고속 파이프라인"인 새로운 "3D Gen" 모델을 출시했습니다 .
게다가 이 시스템은 텍스트 프롬프트를 사용하여 생성된 이미지와 아티스트가 제작한 이미지 모두에 새로운 텍스처와 스킨을 적용할 수 있는 것으로 알려졌습니다.
Meta Gen AI 연구팀의 최근 연구에 따르면 3D Gen은 고해상도 텍스처와 재료 맵을 모두 제공할 뿐만 아니라 물리 기반 렌더링(PBR) 및 생성적 재텍스처링 기능도 지원할 예정입니다.
Meta의 GenAI의 새로운 연구, Meta 3D Gen 소개: 1분 이내에 텍스트에서 3D 자산을 엔드투엔드 생성하기 위한 새로운 시스템입니다.
Meta 3D Gen은 고해상도 텍스처와 재료 맵을 모두 사용하여 고품질 3D 자산을 생성할 수 있는 새로운 결합 AI 시스템입니다. pic.twitter.com/rDD5GzNinY
— Meta의 AI(@AIatMeta) 2024년 7월 2일
팀은 Meta의 3D AssetGen 모델을 사용하여 초기 3D 모델을 생성할 때 평균 추론 시간을 단 30초로 추정합니다. 그런 다음 사용자는 Meta 3D TextureGen을 사용하여 텍스트 프롬프트를 통해 다시 돌아가서 기존 모델 텍스처를 개선하거나 새로운 것으로 교체할 수 있습니다. 회사에서는 이 프로세스에 추론 시간이 20초 이상 걸리지 않을 것으로 예상합니다.
팀은 연구 요약에서 "3DGen은 뷰 공간, 체적 공간, UV(또는 텍스처) 공간의 세 가지 방식으로 동시에 3D 객체를 표현합니다."라고 썼습니다. Meta 팀은 다양한 업계 기준을 기준으로 3D Gen 모델을 설정하고 텍스트 프롬프트 충실도, 시각적 품질, 질감 세부 정보 및 아티팩트를 포함한 다양한 요소를 비교했습니다. 두 모델의 기능을 결합함으로써 주석 작성자는 통합된 2단계 프로세스에 의해 생성된 이미지를 68%의 시간 동안 단일 단계 이미지보다 선택했습니다.
물론, 이 백서에서 논의된 시스템은 아직 개발 중이고 대중이 사용할 준비가 되지 않았습니다. 하지만 이 연구에서 설명하는 기술 발전은 게임 및 영화 효과에서 VR 애플리케이션에 이르기까지 다양한 창의적 분야에 걸쳐 변화를 가져올 수 있음을 입증할 수 있습니다.
사용자에게 빠르고 직관적으로 3D 생성 콘텐츠를 생성하고 편집할 수 있는 기능을 제공하면 이러한 작업에 대한 진입 장벽을 대폭 낮출 수 있습니다. 예를 들어 이것이 게임 개발에 미칠 수 있는 영향을 상상하는 것은 어렵지 않습니다.