AI 영상 분야는 최근 매우 활발해지고 있으며, Adobe도 막 그 난전에 합류했습니다.
올해 Adobe Max 컨퍼런스에서 Adobe는 자체 AI 비디오 모델인 Firefly Video Model을 공식 출시하여 생성 인공 지능 분야에 진출했습니다.
Adobe의 최고 제품 마케팅 관리자인 Meagan Keane은 Firefly Video Model의 출시가 비디오 제작을 단순화 및 가속화하고 비디오의 스토리텔링 기능을 향상시키도록 설계되었다고 말했습니다. 요약하면 이 모델에는 세 가지 흥미롭고 실용적인 기능이 포함되어 있습니다.
- 생성적 확장
- 텍스트-비디오(Wensheng Video)
- 이미지 투 비디오(图生视频)
그중 Generative Extend는 Adobe가 개발한 전문 비디오 편집 소프트웨어인 Premiere Pro에 통합되었으며, Image-to-Video는 Firefly 웹 앱에서 베타 버전을 출시했습니다.
이름에서 알 수 있듯이, 촬영한 비디오 클립이 너무 짧거나 일부 부분이 누락된 경우 Generative Extend를 사용하면 비디오 클립의 시작 또는 끝에서 "생성 확장"을 수행하는 데 도움이 될 수 있습니다.
즉, 필요한 샷을 사용할 수 없거나 샷이 너무 일찍 또는 너무 늦게 잘려진 경우 편집자는 비디오 클립의 시작이나 끝 부분만 드래그하면 되며 Generative Extend는 자동으로 생성 콘텐츠를 채워서 영상이 일관되고 부드럽습니다.
▲Generative Extend의 생성적 비디오 확장 기능 시연 (사진 출처: Adobe)
즉, 비디오 제작자가 촬영 과정에서 "낭비 샷"을 얻은 경우 다시 촬영하기 위해 더 이상 원래 위치로 돌아갈 필요가 없지만 Generative Extend를 사용하여 원본 클립을 직접 확장하고 복구할 수 있습니다.
이는 Generative Extend로 확장된 클립의 품질이 우수한 경우 어느 정도 비디오 제작 효율성을 향상시키는 데 도움이 됩니다.
안타깝게도 이 기능은 현재 최대 해상도 1080p로 제한되어 있으며 클립은 최대 2초까지만 확장할 수 있습니다.
따라서 Generative Extend는 비디오 클립을 약간만 조정하는 데에만 적합합니다. 즉, 사용자가 특정 세부 사항을 복구하는 데만 도움이 될 수 있지만 대규모 제작을 위해 제작자 자신을 대체할 수는 없습니다.
Generative Extend는 또한 사용자가 촬영 중에 조정을 수행하고, 시력 이동이나 촬영 중 기타 예상치 못한 움직임을 수정하는 데 도움을 줄 수 있습니다.
비디오 외에도 Generative Extend를 사용하여 오디오를 원활하게 편집할 수도 있습니다. 동영상의 주변 배경음을 최대 10초까지 연장할 수 있지만 대화나 음악은 확장할 수 없습니다.
▲Generative Extend의 오디오 확장 기능 그림(사진 출처: Adobe)
비디오 제작 과정에서 수고를 덜고 싶다면 텍스트-비디오 기능을 사용하여 직접 생성할 수 있습니다. '전작' Runway나 OpenAI의 Sora와 마찬가지로 사용자는 생성하려는 비디오에 대한 텍스트 설명만 입력하면 되며 '실제 영화', '3D 애니메이션', '스톱 모션 애니메이션' 등 다양한 스타일을 시뮬레이션할 수 있습니다. 해당 비디오 클립을 생성합니다.
다음은 느낌을 주기 위해 텍스트-비디오 기능을 사용하여 생성된 일부 비디오 클립입니다.
▲팁 텍스트: 영화 드론은 우리 아래로 날아가면서 광활한 붉은 화성의 풍경 위로 날아가고, 해가 뜨면서 지평선은 붉게 물든다. 촬영이 끝나면 태양이 수평선 위로 떠오릅니다. (이미지 출처: 어도비)
▲프롬프트 텍스트: 영화의 클로즈업과 밤길 한복판에 있는 노인의 초상화 디테일. 조명 분위기는 둔하고 드라마틱합니다. 컬러 등급은 파란색 그림자와 주황색 하이라이트입니다. 그 남자는 극도로 사실적으로 상세한 피부 질감과 눈에 띄는 모공을 가지고 있습니다. 움직임은 미묘하고 부드럽습니다. 카메라가 움직이지 않습니다. 필름 그레인. 오래된 아나모픽 렌즈. (이미지 출처: 어도비)
▲팁 텍스트: 멕시코의 아름다운 파스텔톤 파티오 내부에서 촬영한 원근감. 물은 맑고 푸르다. 저녁 햇살에 반짝인다. 색상은 마법적인 스타일로 따뜻하고 마법적입니다. 고품질, 영화 같은 느낌. (이미지 출처: 어도비)
사실적인 영화 같은 시각적 이미지 외에도 Text-to-Video는 일부 "추상적인" 이미지 생성도 지원합니다. 예를 들어 불, 물, 빛샘, 연기 등의 요소가 포함된 비디오를 생성하고 이를 기존 비디오에 오버레이하여 기존 콘텐츠에 시각적 깊이와 흥미를 더하는 데 사용할 수 있습니다.
▲팁 텍스트: 검정색 배경에 영화 빛이 새고, 유기적인 질감이 있고, 사실적입니다. (이미지 출처: 어도비)
▲위 영상과 기존 영상을 결합해 생성한 영상 (사진출처:어도비)
Text-to-Video로 생성된 비디오 클립은 실제 카메라 각도, 움직임, 촬영 거리 등을 시뮬레이션할 수 있는 일련의 "카메라 컨트롤"을 사용하여 더욱 구체화할 수도 있다는 점은 언급할 가치가 있습니다.
▲카메라 제어 옵션 (이미지 출처: Adobe)
Image-to-Video 기능은 한 단계 더 발전하여 사용자가 비디오 제작 과정에서 "참조 이미지"를 추가하여 사용자의 상상에 더 가까운 비디오를 생성할 수 있도록 합니다.
영상 크리에이터는 이미지와 사진에서 시작하여 Image-to-Video 기능을 활용해 직접 'B-롤'(주 촬영 콘텐츠 외에 보조 영상을 뜻하는 영화 및 영상 제작 용어(A-영상 제작 용어))을 만들 수 있다. 롤) 재료).
사용자는 단일 비디오 프레임을 업로드하고 이미지 대 비디오가 누락된 프레임을 자동으로 채우도록 하여 완전한 클로즈업을 만들 수도 있습니다.
▲프롬프트 문구: 꽃이 바람에 흔들리고, 그 꽃 위에 아름다운 나비가 내려앉았습니다. (이미지 출처: 어도비)
"우리 모두 알고 있듯이 영상은 편집할 수 없으므로 사실이어야 합니다."
그러나 Image-to-Video의 '사이버 리메이크' 기능은 이 문장을 직접적으로 과거의 일로 만들어 줍니다. 영상 콘텐츠(영상 속 캐릭터 움직임 등)를 사용자가 직접 조작하고 수정하는 '신의 손'과도 같다. 다음 예를 고려하십시오.
▲ 원본 영상 (사진출처: Adobe)
▲수정된 영상, 프롬프트 텍스트: 장갑을 낀 우주 비행사의 손이 프레임 안으로 들어가 노란색 케이블 중 하나를 뽑아 영화 같은 느낌을 줍니다. (이미지 출처: 어도비)
현재 텍스트-비디오 및 이미지-비디오 기능은 최대 길이가 5초, 품질이 최대 720p, 초당 24프레임인 비디오 클립을 생성합니다. 영상 생성 시간은 약 90초 정도인데, Adobe는 이 시간을 단축하기 위해 '터보 모드'를 개발하고 있습니다.
비디오 생성 품질이 부족하다는 것은 사용자가 아직 Firefly 비디오 모델을 사용하여 완전한 영화를 생성할 수 없으며 당분간 창의적인 보조 도구로만 사용할 수 있음을 보여줍니다.
Adobe는 Firefly Video Model이 고객이 제공한 콘텐츠가 아닌 라이선스가 부여된 콘텐츠(예: Adobe Stock) 및 공개 도메인 콘텐츠에 대해서만 모델을 교육한다는 점을 강조합니다.
또한 Firefly Video Model을 사용하여 제작하거나 편집한 비디오에는 제작자와 콘텐츠 소스에 대한 귀속 증명을 제공하고 AI 사용 및 소유권을 선언하여 "상업적 보안"을 보장하도록 설계된 콘텐츠 인증서가 포함될 수 있습니다.
관심 있는 독자는 다음 링크에서 Adobe Firefly Video Model 경험 대기 목록에 참여할 수 있습니다.
https://www.adobe.com/products/firefly/features/ai-video-generator.html
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo