SenseTime이 또 한 번 대단한 일을 해냈습니다. 사진만으로 1분짜리 동영상을 생성할 수 있습니다.
지난 7월 4일, 센스타임(SenseTime)이 제작한 C-end 사용자를 위한 최초의 대형 제어형 캐릭터 비디오 생성 모델인 비미(Vimi)가 세계인공지능회의(WAIC) 전시 전시 최고 영예인 '홀의 보물'로 선정됐다. 이번 컨퍼런스에서 가장 혁신적인 전시를 선보였습니다.
Vimi는 SenseTime의 새로운 대형 모델을 기반으로 어떤 스타일의 사진만으로도 타겟 동작과 일치하는 캐릭터 영상을 생성할 수 있으며, 기존 캐릭터 영상, 애니메이션, 사운드, 텍스트 등을 활용할 수 있는 다양한 운전 방식을 지원합니다. . 여러 요소에 의해 구동됩니다.
대형 모델과 생성 AI 기술의 급속한 발전으로 정지 사진을 '생생하게' 만드는 것이 더 이상 어렵지 않습니다.
그러나 시중에 나와 있는 기존 제품들은 부정확한 움직임과 표현 제어, 열악한 효과 안정성, 제한된 영상 지속 시간 등 영상 제작자의 창작 공간을 제한하는 등 실제 적용에 있어 여전히 많은 문제를 안고 있습니다.
이러한 병목 현상을 극복하기 위해 SenseTime은 제어 가능한 대형 캐릭터 비디오 생성 모델인 Vimi를 출시했습니다.
머리 표현의 움직임만 제어할 수 있는 그림 표현 제어 기술과 달리 비미는 캐릭터의 정밀한 표정 제어는 물론, 반신 영역에서도 사진 속 캐릭터의 자연스러운 신체 변화를 제어해 머리카락, 머리카락을 자동으로 생성할 수 있다. , 캐릭터에 어울리는 헤어와 의상, 배경이 변경됩니다.
동시에 Vimi는 빛과 그림자의 변화를 합리적으로 생성하여 캐릭터의 움직임과 시각 효과를 부드럽고 자연스럽게 만들고 그림을 조화롭고 아름답게 만들 수 있습니다.
더 중요한 것은 Vimi가 시간이 지남에 따라 품질 저하나 왜곡 없이 최대 1분까지 싱글샷 캐릭터 비디오를 안정적으로 생성할 수 있어 엔터테인먼트 및 상호 작용 시나리오에서 장기적으로 안정적인 비디오에 대한 요구를 완벽하게 충족할 수 있다는 것입니다.
Ririxin은 Vimi가 특히 여성 사용자의 엔터테인먼트 및 창작 요구 사항을 충족하기 위해 C-end 사용자에게 완전히 개방될 것이라고 공식적으로 밝혔습니다.
사용자는 다양한 각도에서 사람들의 고화질 사진을 업로드하기만 하면 다양한 스타일의 디지털 아바타와 사진 비디오가 자동으로 생성될 수 있습니다.
Vimi가 생성한 비디오 캐릭터는 더 이상 단순한 얼굴 움직임이 아니라 제스처, 팔다리, 머리카락 등과 일치하여 보다 완전하고 통일된 캐릭터 움직임을 형성하여 제작자가 생성된 비디오 자료를 기반으로 편집하고 재현할 수 있습니다.
셀카를 좋아하는 사용자를 위해 Vimi는 이모티콘에 관심이 있는 사용자를 위해 채팅, 노래, 춤 등 다양한 엔터테인먼트 및 대화형 시나리오를 지원합니다. Vimi는 사진 한 장을 통해 다양하고 흥미로운 캐릭터 이모티콘을 생성할 수 있습니다. 다양한 방식으로 플레이하고 창의적인 자유를 누릴 수 있습니다.
또한, Vimi는 심미적인 사진 스타일, 판타지 스타일 등 다양한 세대 스타일도 제공하여 사용자가 다양한 차원을 여행하며 블록버스터급 몰입형 시각 효과를 즐길 수 있도록 해줍니다.
현재 업계 영상의 80%가 캐릭터를 메인 콘텐츠로 하고 있으며, 단편 영상과 라이브 방송 플랫폼이 폭발적으로 증가하면서 캐릭터를 메인 콘텐츠로 하는 영상에 대한 수요도 기하급수적으로 증가했습니다.
그러나 현재 시중에는 캐릭터 영상 생성을 제어할 수 있는 AIGC 제품이 부족해 콘텐츠 창작자의 효율성 제고가 시급한 상황이다.
Vimi의 등장으로 이러한 격차가 메워졌다고 할 수 있으며, 대부분의 C-side 동영상 제작자에게 간단하고 사용하기 쉬운 제작 도구를 제공하여 캐릭터 단편 동영상 제작에 널리 사용할 수 있습니다.
비미에 대한 자세한 내용은 7월 5일 센스타임이 주최하는 '경계 없는 사랑·샹신리' 인공지능 포럼에서 공개될 예정이다. APPSO는 또한 보고서에 대한 후속 조치를 취할 것입니다.
현재 비미는 센스타임 공식 홈페이지에서 예약을 오픈했으며, 체험해 보실 수 있습니다.
첨부된 예약 주소 포털: https://vme-int.softsugar.com/questionnaire/
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo