Meta Company는 1분 이내에 텍스트에서 고품질 3D 자산을 생성할 수 있는 Meta 3D Gen이라는 Vincent 3D 모델 시스템을 소개하는 연구 논문을 공식 발표했습니다.
기술적인 하이라이트:
- 고속 생성: 3DGen은 단 30초 만에 예비 3D 자산을 생성할 수 있으며, 후속 텍스처 개선 단계는 단 20초만 소요되므로 3D 자산 생성 효율성이 크게 향상됩니다.
▲ 다양한 프롬프트 단어로 생성된 3D 모델
- PBR(물리 기반 렌더링) 지원: 3DGen은 실제 애플리케이션에서 3D 자산의 조명 효과를 재현하는 데 중요한 PBR을 지원합니다.
- 높은 충실도: 전문 3D 아티스트의 평가를 받은 3DGen으로 생성된 3D 모델은 복잡한 텍스트 프롬프트에서 충실도와 시각적 품질 측면에서 기존의 상업용 및 비상업적 방법을 능가합니다.
▲ 본 기술과 다른 기술로 생성된 콘텐츠의 내용 비교
단 두 단계만으로 사실적인 3D 모델 생성
이 논문에서는 Meta 3D AssetGen이 기존 3D 객체 생성 방법과 비교하여 3D 모델을 생성하기 위해 2단계 설계를 채택했다고 소개합니다.
특히:
첫 번째 단계: 텍스트 대 이미지 단계(아래 그림의 파란색 부분): 텍스트 프롬프트를 기반으로 3D 메쉬 및 텍스처를 생성하고, 그림자 및 알베도 색상으로 객체의 4개 보기를 묘사하는 6채널 이미지를 예측합니다.
두 번째 단계: 이미지를 3D 단계로 만드는 두 단계로 구성됩니다.
먼저, 3D 재구성자(MetaILRM이라고 함)는 3차원 SDF 필드를 출력하며, 이는 질감이 있는 PBR 재질(아래 그림의 주황색 부분)이 있는 메시로 변환됩니다.
그런 다음 입력 뷰(아래 이미지의 녹색)에서 손실되었을 수 있는 세부 사항을 복원하기 위해 텍스처 구체화를 통해 이러한 재료를 더욱 향상시켜 모델의 시각적 품질과 세부 사항을 향상시킵니다.
재료와 빛을 정량화하는 다중 지수
기술적 구현 측면에서 Meta 3D AssetGen은 다양한 하이퍼 매개변수가 포함된 VolSDF 공식을 사용하여 SDF 값을 렌더링하고 3D 포인트의 불투명도를 얻습니다.
훈련 중에는 멀티 뷰 렌더링 손실을 최소화하여 모델을 최적화하지만 물리적으로 정확한 렌더링은 매우 비싸기 때문에 원본 PBR 필드를 직접 사용하여 예측된 대응 부분을 감독함으로써 복잡한 렌더링 방정식을 우회합니다.
▲ 메타의 신기술로 탄생한 다양한 소재와 스타일의 알파카들
이러한 종류의 PBR은 물리 기반 렌더링을 의미하는 "물리 기반 렌더링"을 의미합니다.
물체의 외관에 대한 조명, 재료 특성 및 환경 요인의 영향을 고려하여 물체 표면에서 빛의 물리적 동작을 시뮬레이션합니다. 다양한 특성을 기반으로 빛의 반사, 산란 및 산란을 계산할 수 있습니다. 거칠기, 금속 느낌 등 물체 표면을 흡수합니다. 보다 현실적이고 정확한 렌더링 효과를 얻기 위해.
Meta 3D AssetGen에서는 PBR 재료를 사용하여 3D 모델의 현실감을 향상시킵니다. 특히 PBR 자료에는 다음과 같은 주요 속성이 포함됩니다.
- 알베도(Albedo): 물체 표면의 색상과 밝기를 말하며, 이는 다양한 조명 조건에서 물체의 모양을 결정합니다.
- 금속성(Metalness): 물체 표면의 금속 정도를 나타냅니다. 금속 느낌이 높은 물체는 금속 광택이 더 뚜렷하게 나타납니다.
- 거칠기(Roughness): 물체 표면의 매끄러움을 나타내며 표면의 빛 산란 범위에 영향을 줍니다. 거칠기가 높을수록 빛 산란이 넓어지고 하이라이트가 부드러워집니다.
▲ "A cat made of MATERIAL"이라는 프롬프트 단어를 사용하여 생성된 모델
PBR 소재는 실제로 AI 생성 3D 콘텐츠의 주요 발전을 통합하고 대표하며 AI 생성 콘텐츠와 전문 3D 워크플로 간의 오랜 문제를 해결하여 AI 생성 소재를 기존 워크플로에 원활하게 통합하는 것이 가능하다고 간주됩니다. 산업 전반에 걸쳐 가상 환경과 디지털 트윈의 생성을 가속화할 수 있습니다.
▲ 텍스트 프롬프트를 통해 용의 알과 곰의 모양 텍스처를 렌더링합니다.
연구진은 또한 텍스트 생성 모델과 2D 공간의 3D 의미론적 조건을 결합하여 단시간에 완전한 고해상도 UV 텍스처 맵으로 융합하는 연속 네트워크로 구성된 Meta 3D TextureGen 기술을 도입했습니다. 복잡한 기하학의 경우.
▲ 3D 텍스처 생성 기술 비교 : 맨 왼쪽 Meta의 새로운 방식은 더욱 생생한 색상과 더욱 복잡한 디테일을 보여줍니다.
실험 부분에서 연구원들은 훈련을 위해 3D 아티스트가 생성한 다양한 의미 범주의 140,000개 메시 데이터 세트를 사용했습니다. Meta 3D AssetGen을 업계의 다른 PBR 지원 텍스트-3D 방법과 비교하는 광범위한 사용자 조사도 수행되었으며, 이는 Meta 3D AssetGen이 시각적 품질 및 재료 제어 측면에서 상당한 이점을 제공한다는 것을 보여줍니다.
AssetGen은 모따기 거리 17% 향상, LPIPS 40% 향상을 달성했으며 PBR 지원 72%를 포함하여 비슷한 속도로 업계 최고의 경쟁사에 비해 사용자 친화적입니다.
Maginative의 창립자이자 편집장인 Chris McKay는 다음과 같이 말했습니다.
이 기술의 잠재적인 응용 분야는 엄청납니다. 게임 개발자는 3D Gen을 사용하여 환경과 캐릭터의 프로토타입을 빠르게 제작하여 개발 프로세스 속도를 크게 높일 수 있습니다. 건축 시각화 회사는 텍스트 설명을 통해 건물과 인테리어의 상세한 3D 모델을 생성하여 설계 프로세스를 간소화할 수 있습니다. 가상 및 증강 현실 영역에서 3D Gen을 사용하면 몰입형 환경과 객체를 빠르게 생성할 수 있어 잠재적으로 Metaverse 애플리케이션 개발을 가속화할 수 있습니다.
분명히 Meta의 새로운 기술은 다양한 조명 환경에서 3D 모델을 사실적으로 표현할 수 있는 가능성을 제공합니다. 이는 3D 그래픽, 애니메이션, 게임 및 AR/VR 분야에서 큰 잠재력을 갖고 있으며 게임, 영화, TV 및 산업 분야에 큰 영향을 미칠 것입니다. 제품 개발에도 도움이 됩니다.
이는 또 다른 수준의 세계 모델링을 향한 첫 번째 단계일 수 있습니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo