AI 영상은 어떤 방향으로 굴릴 수 있을까? Luma AI의 답변은 조금 다릅니다. 상대는 여전히 한 동작씩 연습하고 있지만 마치 풍청양이 두구나인검을 가르치는 것과 같아서 유연성을 중시하고 흐르는 구름, 흐르는 물처럼 마음대로 할 수 있다.
루마(Luma) AI는 켈링(Keling)과 런웨이(Runway)만큼 잘 알려져 있지는 않지만, 강도 면에서는 1위를 달리고 있으며, 영상 모델은 드림머신(Dream Machine)으로 최근 출시됐다. 이는 제품 출시 이후 가장 큰 모멘텀이다.
여기에는 두 가지 업데이트가 포함되어 있습니다. 하나는 텍스트, 이미지 및 비디오를 한곳에 결합하는 자체 이미지 모델 Luma Photon의 출시이고, 다른 하나는 AI 비디오 생성을 위한 새로운 워크플로를 생성하는 것입니다. 프롬프트 단어에 대해 신중하게 생각할 필요 없이 ChatGPT와 채팅하는 것과 같습니다.
Dream Machine은 비디오를 생성하는 아주 새로운 방법을 개척했습니다.
길을 안내하다 
https://dream-machine.lumalabs.ai/
채팅을 하다가 영상이 생성되었습니다.
드림머신을 열면 가장 먼저 보이는 것은 무한한 창작 캔버스로 이해될 수 있는 '보드'다. 여기서는 자연어를 이용해 자유롭게 이미지나 영상을 생성한다.
제가 보드를 시작했을 때 제가 제안한 메시지는 매우 간단했습니다. "일본 서스펜스 소년 만화 캐릭터를 만들어 보세요."
AI가 내 프롬프트 단어를 확장하고 한 번에 4개의 그림을 생성했지만 작동하지 않고 시간이 잘못되었습니다.
상관없습니다. 대화 상자에 "현대적인 배경에 배치"라는 또 다른 문장을 입력하면 됩니다.
AI는 이해했다며 사진 4장을 더 생성했다. 어두운 골목을 혼자 걷고 있는 사진은 내가 원하는 느낌에 가깝지만, 아직은 고개를 들고 자신의 모습을 드러내기에는 부족하다. 얼굴 특징.
어렵지 않습니다. 계속해서 미세 조정하고, 복잡한 프롬프트 단어는 잊어버리고, AI로 바로 플레이하면 됩니다.
오른쪽 아래가 좋은데, 이미지가 좀 유치하네요. 다음으로 주인공이 낮부터 밤까지 같은 골목을 걷는 모습을 AI가 영상으로 생성해줬으면 좋겠다.
비디오의 첫 번째와 마지막 프레임을 생성하는 드림머신의 기능은 이러한 요구에 맞춰 준비되었습니다. 우리는 첫 번째와 마지막 사진을 선택하고 AI가 중간 프로세스를 완료하도록 합니다.
그러면 우리가 만족하는 사진을 바탕으로 AI가 몇 가지 주간 장면을 생성하도록 두면 되고, 의사소통 방법은 여전히 단순하고 투박합니다. 최종적으로 선택된 두 사진은 디테일이 살짝 다르지만 같은 프레임에 들어있습니다.
모든 것이 준비되어 있고 영상 생성만 기다리면 AI 전환이 꽤 자연스럽습니다.
이 시점에서는 Dream Machine과 다른 비디오 도구의 차이점을 이해해야 합니다.
다른 비디오 도구는 일반적으로 프롬프트 단어를 입력할 수 있는 텍스트 상자를 제공하고 카메라 이동 및 지속 시간과 같은 매개변수를 설정할 수 있도록 합니다. 한 번 설정하면 한 번 생성됩니다.
하지만 드림머신의 인터페이스는 챗봇과 상호작용하는 것과 매우 유사해 보입니다. 하단에는 Vincent 사진, Tush 사진, Tush 비디오, Vincent 비디오를 모두 수행할 수 있는 입력 상자가 있습니다.
전문 창작자는 계속해서 전통적인 프롬프트 단어를 쓸 수 있지만, 우리는 "인간의 단어를 말할" 권리도 가지고 있습니다. 드림 머신은 맥락을 이해하고 프롬프트 단어를 개선하는 데 도움을 줄 수 있습니다. 대략적인 아이디어입니다. 변경하고 최적화하는 동안 대화를 나누세요.
그리고 드림머신은 무한한 캔버스 형태이기 때문에 한 세션에서 반복적으로 생성할 수 있으며, 자료는 그대로 유지되며 서로 덮이지 않습니다.
우리의 사고는 단지 짧은 말이나 영상에 국한되지 않고, 이 과정에서 더 많은 아이디어가 탄생할 것입니다.
더 제어 가능한 사진, 더 제어 가능한 비디오
Dream Machine의 새로운 워크플로우는 큰 나무의 줄기와 같으며, 재미 있고 실용적인 기능 중 일부는 서로를 보완하고 번성하는 가지와 같습니다.
핵심적인 역할을 하는 것은 드림머신이 출시한 최신 이미지 모델인 루마 포톤(Luma Photon)이다.
우리의 미학에 더 부합하는 사진을 생성하는 방법은 무엇입니까? Dream Machine은 스타일 참조 및 문자 참조 기능을 지원합니다.
먼저 스타일 참조에 대해 이야기해 보겠습니다. 우리는 자신의 사진을 가져올 수 있으며 AI는 스타일을 창작물에 통합합니다. 관계자는 예를 들어 몬드리안 스타일로 "진주 귀걸이를 한 소녀"의 새 버전을 생성했습니다.
이 아이디어를 따라 남자 탐정의 이미지와 반 고흐의 "별이 빛나는 밤" 스타일을 바탕으로 여자 탐정을 만들어 보세요.
2차원이 후기인상주의와 만나면 그 화학반응이 경이롭다.
캐릭터 참조 기능은 한 장의 사진을 통해 캐릭터의 일관성을 확보할 수 있어 해당 캐릭터가 더 많은 사진과 영상에 등장할 수 있습니다.
머스크는 걷는 재료 라이브러리입니다. 이 예는 너무 도전적이지 않습니다. 장면이 변경된 후에도 Zhen Huan이 여전히 2.8미터 아우라를 유지할 수 있는지 확인하기 위해 해리포터의 세계로 순간이동하도록 하기로 결정했습니다.
그 결과는 진환의 얼굴이라는 것을 알 수 있지만 황후의 외모는 현지 관습을 따르고 얼굴 특징, 특히 눈은 더욱 유럽적이고 미국적이되었습니다.
실제로 드림머신은 추가 사진 참조를 찾지 않고도 사진과 동영상이 모두에게 유실되는 것을 방지할 수도 있습니다. 이때 '브레인스토밍' 기능을 사용해야 사진을 기반으로 일부 아티스트의 스타일을 추천해 줍니다. 당신은 생성합니다.
Zhen Huan이 호그와트에 입학하는 장면처럼 Studio Ghibli 스타일로 재현할 수 있습니다.
뿐만 아니라 프롬프트 단어의 일부 키워드는 프레임으로 구성되어 드롭다운 옵션으로 대체될 수 있습니다. 드림머신에서는 이를 "콘셉트 알약"이라고 부르며 프롬프트 단어를 직접 작성할 필요가 없으며 예술적 스타일을 변경할 수 있습니다. 또는 한 번의 클릭으로 그림 요소를 사용할 수 있습니다.
몇 번의 클릭만으로 "지브리"를 "신카이 마코토"로, "유니콘"을 "드래곤"으로 바꿀 수 있습니다.
Luma Photon 모델은 Luma의 범용 Transformer 아키텍처를 기반으로 구축되었습니다. Luma AI는 자체 이미지 모델을 개발함으로써 Midjourney와 같은 외부 이미지 모델에 대한 의존도를 줄이는 동시에 Vincent 비디오의 불안정성 문제도 해결할 수 있습니다.
물론 영상이 전문이고, 카메라 움직임 등 제어 가능한 기능에도 드림머신이 빼놓을 수 없다.
자금성의 Zhen Huan과 호그와트의 Zhen Huan은 순조로운 전환을 이룰 수 있을까요? 줌렌즈를 사용하면 사진이 역동적이고 캐릭터의 변형이 심하지 않아 80점을 받을 수 있습니다.
시각적 사고, 스토리텔링
공교롭게도 Runway는 이틀 전 Luma 업데이트가 있던 날 밤에 이미지 생성 모델인 Frame도 공식적으로 발표했습니다. 시연을 보면 미학에 큰 관심을 기울이고 있으며 현재 점차적으로 Gen-X에 대한 자격을 개방하고 있음을 알 수 있습니다. 3 알파.
▲ 런웨이 프레임
이미지 생성 품질, 미학적 높이, 시각적 스타일의 일관성 및 제어 가능성이 시각적 모델에 의해 점점 더 중요하게 여겨지고 있습니다.
이는 창작자에게 좋은 일입니다. 그래픽 디자인과 캐릭터 설정에 AI를 사용하면 실제로 독특한 세계를 생성하고 독특한 스토리를 전달하는 것입니다.
Runway의 CEO인 Cristóbal Valenzuela는 Runway가 AI 회사가 아닌 미디어 및 엔터테인먼트 회사이며 AI 회사의 시대는 끝났다고 믿습니다.
그는 AI를 폄하하는 것이 아니라 AI가 일종의 인프라라고 믿습니다. 인간의 경험을 연결합니다. 이는 루마의 진화 방향과 일치한다.
이번 업데이트 이후 Luma AI CEO이자 공동 창업자인 Amit Jain은 Dream Machine에 시각적 사고 파트너라는 흥미로운 정의를 내렸습니다.
개념은 다소 추상적이지만 그가 실제로 의미하는 것은 사진, 영상 등의 시각적 창작물을 채팅처럼 간단하고 직관적으로 만드는 것입니다.
우리가 상호 작용하는 방식은 우리가 생각하는 방식에 영향을 미칩니다. 캔버스 스타일의 워크플로우는 아이디어를 시각화하고, 모든 창의적인 프로세스와 결과를 기록하고, 비디오 생성을 위한 완전한 아이디어를 제시할 수 있습니다.
무한 캔버스는 일반적으로 Recraft 및 Ideogram's Canvas와 같은 이미지 모델에서 더 일반적입니다. Dream Machine의 캔버스는 동일한 프롬프트 단어에 의해 생성된 재료와 변형이 수평으로 배열되고 다른 단어가 수직으로 배열되어 보다 규칙적입니다.
채팅하고, 생성하고, 최적화하는 과정을 통해 사람들은 마치 캔버스 속에 독립된 작은 세계가 탄생한 듯한 느낌을 받게 될 것입니다.
먼저 Dream Machine이 초현실적인 영화 CG 스타일을 사용하여 산업 황무지를 배경으로 한 게임의 주인공을 만들어 보겠습니다.
그런 다음 서라운드 샷을 사용하여 주인공에게 애니메이션을 적용하고 환경에 공간감을 만들어보세요.
그런 다음 AI와 대화를 나누고 AI가 황무지 세계의 다양한 실내 및 실외 장면을 계속 생성하도록 하고 AI가 이를 더욱 종말론적으로 만들 수 있는 방법을 제안하도록 할 수 있습니다.
어떤 면에서 이 캔버스는 우리의 개인적인 이야기를 위한 배경입니다.
물론 Luma AI에는 캐릭터 일관성을 달성하기 위해 그림을 사용하는 것이 이상적이지 않으며 그림과 비디오를 반복적으로 그려야 하는 등 많은 버그가 있습니다. 영어는 하는데 중국어는 못해요…
그러나 의미는 잘 전달됩니다. 매개 변수에 대해 덜 이야기하고 상호 작용을 출발점으로 사용하고 AI 생성 도구를 구축하십시오.
더 나은 비디오 모델은 더 빠른 생성 속도, 더 많은 제어 가능한 카메라 움직임, 더 독특한 미학을 제공할 뿐만 아니라 텍스트, 이미지 및 비디오를 아이디어 표현 도구로 사용할 수 있도록 하는 더 나은 스토리 전달 방법을 제공해야 합니다.
드림 머신, 드림 머신.
Luma AI가 말했듯이 "복잡한 프롬프트 단어를 작성할 필요 없이 그냥 물어보세요." 미래의 AI가 우리에게 남긴 질문은 더 이상 기술에 관한 것이 아니라 우리가 그것을 사용하여 무엇을 구축하는지에 대한 것입니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo