최근 ByteDance와 Tsinghua University는 GitHub에서 최신 인물 애니메이션 기술인 " X-Portrait 2 "를 공동으로 출시했습니다.
구체적으로 X-Portrait 2는 매우 직관적이고 사용이 간편한 " 생성 초상화 전송 모델 "입니다. 사용자는 정적 인물 사진과 표정 변화가 있는 "퍼포먼스" 영상만 제공하면 되며, 이 기술을 사용하면 표정을 "전송"할 수 있습니다. 한 번의 클릭으로 초상화에 이전의 " 이동 "도 가능합니다.
이와 같이:
보시다시피 왼쪽 하단은 '정적 인물 사진'이고 오른쪽 하단은 '퍼포먼스 영상'입니다. X-Portrait 2의 기능은 왼쪽의 캐릭터를 캐릭터와 거의 같은 표정으로 만드는 것 입니다. 오른쪽에 .
" 표현 " 외에도 " 태도 "도 거의 픽셀 수준의 복제물입니다.
눈썹과 미소에 담긴 '교활함'과 '악동'을 모두 정확하게 표현했습니다.
X-Portrait 2는 머리를 크게 비틀어도 완벽하게 작동하며 표정이 왜곡되지 않습니다.
보다 "실용적인" 사용 시나리오는 " 립싱크 "에 사용할 수 있으며 때로는 나중에 줄을 수정해야 할 필요성을 충족시키는 것입니다.
재현이 정확할 뿐만 아니라 부드럽고 자연스럽습니다. 출판사에서는 이를 ' 표현력이 뛰어난 인물 애니메이션 '이라고 부르기도 합니다.
분명히 이 모델은 사실적인 인물 사진과 만화 이미지를 다루는 교차 스타일 및 교차 도메인 표현 전송을 달성할 수 있으며 적응성이 뛰어나며 실제 스토리텔링, 애니메이션 캐릭터 프레젠테이션, 가상 에이전트 및 기타 시각 효과에 사용될 수 있습니다.
영화나 애니메이션의 후반 작업 특수 효과 측면에서 X-Portrait 2는 의심할 여지 없이 기존 모션 캡처, 캐릭터 애니메이션 및 콘텐츠 제작 프로세스를 크게 단순화합니다.
프로토타입 X-Portrait와 비교할 때 X-Portrait 2의 업그레이드와 혁신은 아무리 강조해도 지나치지 않습니다.
X-Portrait 2는 대규모 데이터 세트를 기반으로 훈련된 고급 표현 인코더를 사용하여 삐죽, 뺨 부풀어오르기, 찡그린 얼굴 등의 세부 묘사를 포함하여 캐릭터의 미묘한 표정을 보다 정확하게 캡처하고 재현할 수 있습니다. 표현하고 현실감을 향상시킵니다.
동시에 X-Portrait 2는 외모와 행동을 효과적으로 분리 합니다. 즉, 표정을 마이그레이션할 때 원본 이미지의 외모 특성이 유지되고 표정 변경이 캐릭터의 기본 외모에 영향을 주지 않아 자연스러움이 향상됩니다. 그리고 애니메이션의 일관성.
X-Portrait 2는 또한 다양한 시야각에서 표정 변화를 처리하고, 더욱 부드럽고 사실적인 애니메이션 효과를 생성하며, 시야각이 바뀔 때 기존 방식에서 발생할 수 있는 문제를 해결할 수 있는 생성 확산 모델을 혁신적으로 도입했다는 점도 언급할 가치가 있습니다. 표정 불일치 문제가 발생합니다.
또한 X-Portrait 2는 도메인 간 표현 전송 기능은 물론 애니메이션 현실감과 역동적인 표현도 향상시킵니다.
이전에 출시된 유사한 경쟁사인 Runway의 Act-One과 비교할 때 X-Portrait 2는 열등하지 않습니다. "좋은 할아버지"의 행복한 표정이기도 합니다. 액트원의 생성 효과는 다음과 같습니다.
▲사진출처: 후시우
오로지 '마이그레이션'을 이룬 것 같고, 표현의 과장도 확실히 완화되고, 약간 딱딱한 느낌도 든다. 원본 영상을 가리면 누구를 흉내내고 있는지 알 수 없을 수도 있습니다.
동일한 표현에 대해 X-Portrait 2의 생성된 효과는 다음과 같습니다.
표현의 보다 정확하고 섬세한 재현에 더해 자연스러운 ' 기쁨 '을 느낄 수 있을 것 같습니다. 이것이 X-Portrait 2의 힘입니다.
X-Portrait 2의 장점에 대해 개발자들은 다음과 같이 말했습니다.
X-Portrait, 최근 출시된 Runway Act-One 등 최첨단 방식에 비해 우리 모델은 빠른 머리 움직임, 작은 표정 변화, 강렬한 개인 감정을 충실하게 전달할 수 있습니다. 이러한 측면은 애니메이션 및 영화 제작과 같은 고품질 애니메이션 콘텐츠 제작에 매우 중요합니다.
보다 직관적인 비교를 살펴보겠습니다.
분명히 원래 X-Portrait에 비해 X-Portrait 2의 개선점은 더 " 자연스럽고 부드럽다 "는 것이며 Act-One에 비해 X-Portrait 2는 더 " 정확하고 섬세하다 "는 것입니다.
어쨌든 X-Portrait 2의 출시는 "모션 캡처를 생성 AI로 대체"할 수 있는 개념을 지속적으로 홍보하고 더욱 성숙해지며 상용화에 한 걸음 더 가까워졌습니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo