올해는 AI 영상 세대 분야가 본격화되고 있다.
초기 롤 생성 시기부터 롤 사진의 품질, 최근 AI 특수 효과 도입에 이르기까지 업계 제조업체들은 다양한 방식으로 롤을 출시했지만 모두 새로운 사용자를 유치하기 위해 열심히 노력하고 기존 사용자를 유지하세요.
그러나 시중에 나와 있는 많은 비디오 모델들이 클릭 한 번으로 비디오를 생성한다고 주장하지만, "마임" 같은 완성품은 다소 쓸모가 없습니다. 특히, AI 영상에 대한 자극 임계값은 계속해서 높아졌고, 음향 효과의 부족은 마치 못을 박은 것처럼 사용자들의 마음을 점점 더 깊게 꿰뚫고 있습니다.
물론 제조사들이 이 문제를 완전히 해결하고 싶지 않은 것은 아니며, 단지 더 많은 경험을 축적할 기회를 기다리고 있을 뿐입니다.
3개월 전 중국에서 대중에게 공개된 최초의 비디오 생성 제품인 Zhipu Qingying이 Qingyan 앱에 출시되었습니다. 이 앱은 명령이나 사진만으로 30초 만에 AI 비디오를 생성할 수 있습니다.
3개월이 지난 오늘, Zhipu Qingying은 다시 한 번 대대적인 업그레이드를 선보였습니다.
10초 지속 시간, 4k, 60프레임 초고화질 이미지 품질, 모든 크기, 더 나은 작업 동작 및 실제 세계 모델… 책을 여는 기본 기술 외에도 더 중요한 것은 Zhipu Qingying도 이번 출시 예정입니다. 화면을 생성하고 일치시키는 달입니다.
첨부된 내용은 New Qingying의 구체적인 업그레이드 하이라이트입니다.
- Tusheng의 비디오 품질, 미적 성능, 동작 합리성 및 복잡한 프롬프트 단어에 대한 의미론적 이해가 크게 향상되었습니다.
- 더욱 강력한 얼굴 퍼포먼스 디테일, 움직임 일관성 및 물리적 특성 시뮬레이션으로 비디오의 자연스러움과 사실성이 향상됩니다.
- 10초, 4K, 60프레임 초고화질 비디오 생성을 지원하고 모든 비율의 이미지 생성을 지원합니다.
- 동일한 명령/그림으로 한 번에 4개의 비디오를 생성할 수 있으며, 그림과 일치하는 음향 효과 기능이 이번 달 곧 공개 베타 버전으로 출시될 예정입니다.
더욱이 사람들은 여전히 AI의 오픈소스/클로즈드소스에 대해 논쟁을 벌이고 있는 가운데, Zhipu는 오픈소스를 지속적으로 지원하는 몇 안 되는 국내 기업 중 하나입니다. Zhipu는 현재 비디오 모델 CogVideoX v1.5의 최신 버전을 공식 출시하고 오픈소스화했습니다.
이 오픈 소스에는 CogVideoX v1.5-5B 및 CogVideoX v1.5-5B-I2V의 두 가지 모델이 포함되어 있습니다. 향후 CogVideoX v1.5도 Qingying에서 동시에 출시되고 새로 출시된 CogSound 사운드 효과 모델과 결합될 예정입니다.
코드: https://github.com/thudm/cogvideo
모델: https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT
이제부터 Zhipu Qingyan 앱에서 New Qingying이 출시될 것이라고 공식 발표했습니다. 할말은 별로 없고 체험주소만 첨부해주세요: https://chatglm.cn/video?lang=zh
4K 60프레임, 새로운 선명한 영상이 한 단계 더 발전했습니다
친절한 노인은 웃고 있고, 얼굴 근육의 세세한 부분까지 눈에 띄는 픽셀화나 흐릿함 없이 선명하게 보입니다.
불꽃호랑이의 이미지도 인상적이다. 걸음걸이가 사실적일 뿐만 아니라, 눈매도 야성적인 아름다움을 드러내고 있으며, 몸의 불꽃색도 풍부한 색감과 깊이를 보여준다.
차량의 속도가 빠르고 장면 전환에 지연이나 지연이 없으며 빠르게 움직이는 물체에서도 연속성을 유지할 수 있으며 속도감과 긴장감을 조성하는 데에도 좋습니다.
야옹이는 온라인에서 셰프로 변신해 오늘의 요리를 능숙하게 볶는다.
데모의 수사법에 속지 마십시오. 시작하는 것이 실제 효과를 테스트하는 유일한 기준입니다.
또한 Tusheng 비디오 기능을 사용하여 Kongming Lantern을 비행하는 비디오를 만들었습니다. 공명등(Kongming Lantern)이 발사되어 천천히 밤하늘로 떠올랐고, 카메라는 아래에서 위로 따라가며 하늘은 짙은 파란색으로 물들었습니다.
또는 우리는 가만히 있던 작은 노란색 꽃을 "부활"시켰고, 바람이 불고, 작은 노란색 꽃이 풀 위에서 부드럽게 흔들렸습니다.
그러나 "New Qingying"에는 여전히 어느 정도의 카드 드로잉이 필요합니다. 이는 국내외 AI 비디오 모델의 안정성에 있어서 일반적인 문제이기도 하며, 이러한 제품을 매일 사용할 때 더 많은 인내심이 필요합니다.
테스트에서 가장 놀랐던 점은 Qingying의 음향 효과 생성 기능이었습니다.
비디오의 경우 음향 효과와 이미지가 항상 서로를 보완합니다. 이를 기반으로 오디오가 제거된 여러 개의 "마임" 비디오를 사용하고 AI가 해당 음향 효과를 생성하도록 했습니다. .
예를 들어, "The Pianist on the Sea"의 가장 클래식한 피아노 결투를 선호하시나요? 아니면 원본 버전을 선호하시나요?
밤하늘에 피어나는 순간의 아름다운 불꽃쇼와 AI 음향효과가 어우러져 감동을 주셨나요?
빗방울 소리는 각기 다르며 어떤 것은 선명하고 어떤 것은 깊고 어떤 것은 빠르며 어떤 것은 길다.
핵폭발 장면은 거대하지만 소리가 거의 지연되지 않습니다. 실제 폭발음, 환경 소음 및 여파를 시뮬레이션하는 데 탁월한 성능을 발휘합니다.
걱정하지 마세요. 잘 들어보세요. 아바타 수중 모험도 있습니다.
코그 영상이라면
무성영화에서 사운드까지, AI영상이 유성영화 시대로 진입하다
최초의 유성영화는 1900년 파리에서 상영되었으며, 소리와 이미지를 동기화할 수 있는 기술이 상업적 표준으로 성숙된 것은 10년이 지나서였습니다.
유성영화의 출현은 영화의 탄생 이후 침묵의 상태를 종식시켰을 뿐만 아니라, 더 중요하게는 영화를 순수하게 하나의 시각 예술에서 오디오와 비디오를 결합한 새로운 예술 형태로 변화시켰다는 점에서 중요한 의미를 갖습니다.
영화에 출연한 배우들이 연설을 했고, 관객들은 발성영화를 보며 환호했습니다.
두 사람의 마음의 목소리가 교향곡을 이루고 마음의 소리가 공명합니다.
오늘날 연초의 "마임"부터 오늘날의 AI 음향 효과까지 역사의 순환이 다시 일어나고 있습니다. 전자가 여전히 0-1로 제한되어 있다면 AI 음향 효과의 추가는 획기적인 도약을 의미합니다. 1-N.
GLM-4V의 영상 이해 기능을 기반으로 지능형 스펙트럼 제품군의 새로운 구성원인 음향 효과 모델 CogSound는 영상 이면의 의미와 감정을 정확하게 식별하고 이해하며, 이를 기반으로 일치하는 오디오 콘텐츠를 생성할 수 있습니다.
예를 들어 폭발음, 물 흐름, 악기 소리, 동물 소리, 차량 소리 등이 있습니다.
이미지 내러티브에 있어서 사운드의 등장은 텍스트에 의존하는 영상의 내러티브를 탈피시키는 중요한 전환점일 뿐만 아니라, 개념과 방식 측면에서도 더 넓은 상상의 공간을 제공한다.
그러나 영화와 TV 산업에 AI를 도입하는 것은 의심할 여지 없이 논란의 여지가 있다.
지난달 할리우드 배우들의 파업은 수그러들지 않았고, 카메론 감독은 정상회담에서 AI가 영화 스토리텔링을 재정의하고 시나리오 작가와 감독이 새로운 스토리라인과 내러티브 기법을 탐구하는 데 도움이 될 것이라고 말했다.
비디오 산업에서 음향 효과 모델은 광범위한 응용 시나리오를 가지고 있습니다. 예를 들어 영화의 대규모 전투 장면과 재난 장면에 대한 사운드를 생성하여 제작 주기를 크게 단축하고 제작 비용을 절감할 수 있습니다.
그런데 AI 시대의 시청각 예술은 정확히 어떤 모습이어야 할까요?
역사상 기술적 폭발은 우리에게 몇 가지 아이디어를 제공했습니다. 산업혁명의 기계화와 조립라인 운영으로 표준화된 대량생산이 가능해졌다면, AI가 등장하면 대량의 데이터와 패턴을 학습해 인간의 의사결정 과정을 모방해 의사결정 과정을 맞춤화할 수 있다. 각 사용자의 특정 요구에 따라 필요와 선호도에 맞는 맞춤형 서비스를 제공합니다.
간단히 말해서, AI는 사용 장벽을 낮춤으로써 모든 일반인이 자신이 좋아하는 개인화 된 비디오를 만들 수 있게 해줍니다.
프랑스 뉴 웨이브(French New Wave)의 대표자인 장 뤽 고다르(Jean-Luc Godard)도 영화 기술의 변화가 영화 언어와 예술성에 미치는 영향에 대해 논의했습니다.
"영화는 촬영할 때 소리와 이미지만 사용하는 것이 아니라 관객의 마음 속에 특정 언어를 구축합니다. 무성 영화는 시각을 통해 더 많은 가능성을 창출했고, 유성 영화는 이러한 창작 방식을 변화시켰습니다."
AI 영상에 대한 사람들의 기대는 올해 2월로 거슬러 올라가 오픈AI(OpenAI)가 출시한 소라(Sora)에서 처음 나왔다. 아쉽게도 현재까지 해당 제품은 '여래' 상황에 빠져 아직까지 모습을 드러내지 못하고 있다.
또한 이 기간 동안 국내 제조업체가 이 트랙에서 좋은 결과를 얻은 것을 보고 매우 기뻤습니다.
그러나 이것은 단지 전채요리일 수도 있습니다. Zhipu는 진정한 지능은 청각, 시각, 촉각 등이 인간 두뇌의 인지 능력 형성에 공동으로 참여하는 다중 모드여야 한다고 믿습니다.
텍스트, 이미지, 비전 및 기타 양식을 포함하는 다중 모드 지능형 스펙트럼 대형 모델 매트릭스를 구축하면 대형 모델의 적용 및 도구 기능을 더욱 향상시킬 수 있으며 AI의 궁극적인 목표인 AGI를 향해 나아갈 수 있습니다.
이제 본격적으로 인공지능(AI) 토키 시대에 진입했다고 할 수 있습니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo