AGI(Artificial General Intelligence)는 전체 AI 산업의 성배입니다.
전 OpenAI 수석 과학자 Ilya Sutskeve는 작년에 "다음 토큰을 아주 잘 예측할 수 있는 한 인간이 AGI를 달성하도록 도울 수 있다"는 견해를 밝혔습니다.
딥 러닝의 아버지로 알려진 Turing Award 수상자 Geoffrey Hinton과 OpenAI CEO Sam Altman은 둘 다 AGI가 10년 또는 그보다 더 일찍 도래할 것이라고 믿습니다.
AGI는 끝이 아니라 인류 발전 역사의 새로운 출발점입니다. AGI로 가는 길에는 고려해야 할 사항이 많은데, 중국의 AI 산업 역시 무시할 수 없는 세력이다.
지난 4월 27일 열린 중관촌 포럼 종합 인공지능 병렬 포럼에서 중국 런민대학교 산하 스타트업 기업 Sophon Engine이 새로운 멀티모달 대형 모델 Awaker 1.0을 대대적으로 출시하며 AGI를 향한 중요한 발걸음을 내디뎠습니다.
이전 세대 Sophon 엔진의 ChatImg 시퀀스 모델과 비교하여 Awaker 1.0은 새로운 MOE 아키텍처를 채택하고 독립적인 업데이트 기능을 갖추고 있으며 "진정한" 독립적인 업데이트를 달성한 업계 최초의 다중 모드 대형 모델입니다 . 비주얼 생성 측면에서 Awaker 1.0은 완전히 자체 개발한 비디오 생성 기반 VDT를 사용하여 사진 비디오 생성에서 Sora보다 더 나은 결과를 달성하여 대형 모델 착륙의 "라스트 마일" 어려움을 극복했습니다.
Awaker의 MOE 기본 모델
이해 측면에서 Awaker 1.0의 기본 모델은 주로 다중 모드 및 다중 작업 사전 훈련에서 심각한 갈등 문제를 해결합니다. 신중하게 설계된 다중 작업 MOE 아키텍처의 이점을 활용하여 Awaker 1.0의 기본 모델은 Sophon Engine의 이전 세대 다중 모드 대형 모델 ChatImg의 기본 기능을 상속받을 뿐만 아니라 각 다중 모드 작업에 필요한 고유한 기능도 학습할 수 있습니다. . 이전 세대 다중 모드 대형 모델 ChatImg와 비교하여 Awaker 1.0의 기본 모델 기능은 여러 작업에서 크게 향상되었습니다.
주류 다중 모드 평가 목록의 평가 데이터 유출 문제를 고려하여 Sophon Engine은 자체 평가 세트를 구축하기 위한 엄격한 기준을 공개했으며, 테스트 사진의 대부분은 개인 휴대폰 앨범에서 가져왔습니다. 본 멀티모달 평가 세트에서는 Awaker 1.0과 국내외 최첨단 멀티모달 대형 모델 3종에 대해 공정한 수동 평가를 실시하고 있으며, 자세한 평가 결과는 아래 표와 같습니다. GPT-4V와 Intern-VL은 감지 작업을 직접 지원하지 않습니다. 감지 결과는 모델이 객체 방향을 설명하기 위해 언어를 사용하도록 요구하여 얻어집니다.
Awaker+ 구체화된 지능: AGI를 향하여
다중 모드 대형 모델과 구현된 지능의 결합은 매우 자연스러운데, 다중 모드 대형 모델의 시각적 이해 기능이 구현된 지능형 카메라와 자연스럽게 결합될 수 있기 때문입니다. 인공지능 분야에서는 '멀티모달 대형모델+실체지능'이 일반 인공지능(AGI)을 달성하기 위한 가능한 경로로 꼽히기도 한다.
한편으로 사람들은 구체화된 지능이 적응할 수 있을 것으로 기대합니다. 즉, 에이전트는 지속적인 학습을 통해 변화하는 애플리케이션 환경에 적응할 수 있을 뿐만 아니라 알려진 다중 모드 작업에서 더 나은 성능을 발휘할 수 있을 뿐만 아니라 알려지지 않은 다중 모드에도 빠르게 적응할 수 있습니다. -모달 작업. 반면에 사람들은 구체화된 지능이 진정으로 창의적이기를 기대하며, 환경에 대한 자율 탐색을 통해 새로운 전략과 솔루션을 발견하고 인공지능 능력의 경계를 탐색할 수 있기를 바랍니다. 대형 다중 모드 모델을 구체화된 지능의 "두뇌"로 사용함으로써 구체화된 지능의 적응성과 창의성을 크게 향상시켜 결국 AGI의 임계값에 접근할 수 있습니다(또는 AGI 달성까지 가능).
그러나 기존의 대규모 다중 모드 모델에는 두 가지 명백한 문제가 있습니다. 첫째, 모델의 반복 업데이트 주기가 길고, 많은 인적, 재정적 투자가 필요합니다. 둘째, 모델의 훈련 데이터가 모두 기존 데이터에서 파생됩니다. , 모델은 지속적으로 많은 양의 새로운 지식을 획득할 수 없습니다. RAG와 긴 맥락을 통해 지속적인 새로운 지식을 주입할 수도 있지만 다중 모드 대형 모델 자체는 이러한 새로운 지식을 학습하지 않으며 이 두 가지 수정 방법도 추가적인 문제를 가져옵니다. 간단히 말해서, 현재의 대규모 다중 모드 모델은 창의적이기는커녕 실제 응용 시나리오에 적응력도 좋지 않아 업계에서 구현 시 다양한 어려움을 낳습니다.
이번에 소폰엔진이 출시한 어웨이커 1.0(Awaker 1.0)은 자율 업데이트 메커니즘을 탑재한 세계 최초의 멀티모달 대형 모델로, 구현지능의 '브레인'으로 활용할 수 있다. Awaker 1.0의 자율 업데이트 메커니즘 에는 활성 데이터 생성, 모델 반영 및 평가, 지속적인 모델 업데이트라는 세 가지 핵심 기술이 포함되어 있습니다.
다른 모든 대형 다중 모드 모델과 달리 Awaker 1.0은 "실시간"이며 매개변수가 실시간으로 지속적으로 업데이트될 수 있습니다. 위의 프레임 다이어그램에서 볼 수 있듯이 Awaker 1.0은 다양한 스마트 기기와 결합하여 스마트 기기를 통해 세상을 관찰하고 행동 의도를 생성하며 스마트 기기를 제어하는 명령을 자동으로 구성하여 다양한 행동을 완료할 수 있습니다. Awaker 1.0은 다양한 동작을 완료한 후 자동으로 다양한 피드백을 생성하고 지속적인 자체 업데이트를 위해 이러한 동작과 피드백으로부터 효과적인 훈련 데이터를 획득하고 모델의 다양한 기능을 지속적으로 강화할 수 있습니다.
새로운 지식 주입을 예로 들면, Awaker 1.0은 인터넷상의 최신 뉴스 정보를 지속적으로 학습하고, 새롭게 학습된 뉴스 정보를 기반으로 다양하고 복잡한 질문에 답할 수 있습니다. RAG 및 긴 맥락의 전통적인 방법과 달리 Awaker 1.0은 진정으로 새로운 지식을 학습하고 모델의 매개변수에 대해 이를 "기억"할 수 있습니다.
위의 예에서 볼 수 있듯이, 3일 연속 셀프 업데이트 동안 Awaker 1.0은 매일 그 날의 뉴스 정보를 학습하고, 질문에 답할 때 해당 정보를 정확하게 말할 수 있었습니다. 동시에 Awaker 1.0은 지속적인 학습 과정에서 학습된 지식을 잊지 않습니다. 예를 들어 Zhijie S7의 지식은 Awaker 1.0에서 2일 후에도 여전히 기억되거나 이해됩니다.
Awaker 1.0은 다양한 스마트 장치와 결합하여 클라우드 에지 협업을 달성할 수도 있습니다. Awaker 1.0은 다양한 작업을 수행하기 위해 다양한 엣지 스마트 장치를 제어하는 "두뇌"로 클라우드에 배포됩니다. 엣지 스마트 디바이스가 다양한 작업을 수행할 때 얻은 피드백은 지속적으로 Awaker 1.0으로 다시 전송되어 지속적으로 훈련 데이터를 획득하고 지속적으로 자체 업데이트할 수 있습니다.
실제 시뮬레이터: VDT
비디오 생성 기반 VDT의 혁신에는 주로 다음과 같은 측면이 포함됩니다.
- 확산 기반 비디오 생성에 Transformer 기술을 적용하는 것은 비디오 생성 분야에서 Transformer의 큰 잠재력을 보여줍니다. VDT의 장점은 시간에 따른 3차원 물체의 물리적 역학 시뮬레이션을 포함하여 시간적으로 일관된 비디오 프레임을 생성할 수 있는 탁월한 시간 종속 캡처 기능입니다.
- VDT가 다양한 비디오 생성 작업을 처리하고 이 기술의 광범위한 적용을 실현할 수 있도록 통합된 시공간 마스크 모델링 메커니즘이 제안되었습니다. 간단한 토큰 공간 접합과 같은 VDT의 유연한 조건부 정보 처리 방법은 다양한 길이와 양식의 정보를 효과적으로 통합합니다. 동시에 VDT는 시공간 마스크 모델링 메커니즘과 결합하여 무조건 생성, 비디오 후속 프레임 예측, 프레임 보간, 사진 생성 비디오 및 비디오 프레임에 수정 없이 적용할 수 있는 보편적인 비디오 확산 도구가 되었습니다. 모델 구조 완료 및 기타 비디오 생성 작업.
Sophon 엔진 팀은 VDT의 간단한 물리 법칙 시뮬레이션을 탐색하고 Physion 데이터 세트에서 VDT를 훈련시키는 데 중점을 두었습니다. 다음 예에서 우리는 VDT가 공이 포물선 궤적을 따라 이동하고 공이 평면에서 구르며 다른 물체와 충돌하는 등의 물리적 프로세스를 성공적으로 시뮬레이션했음을 확인했습니다. 동시에 2행의 두 번째 예에서도 VDT가 공의 속도와 운동량을 포착한 것을 볼 수 있는데, 그 이유는 공이 결국 충격력이 부족하여 기둥을 쓰러뜨리지 않았기 때문입니다. 이는 Transformer 아키텍처가 특정 물리적 법칙을 학습할 수 있음을 증명합니다.
또한 사진영상 생성과제에 대해서도 심층탐색을 진행하였다. 우리는 얼굴과 캐릭터의 역동적인 변화에 더 민감하기 때문에 이 작업은 비디오 생성 품질에 대한 요구 사항이 매우 높습니다. 이 작업의 특수성을 고려하여 연구자들은 VDT(또는 Sora)와 제어 가능한 생성을 결합하여 사진 비디오 생성 문제를 해결해야 합니다. 현재 Sophon 엔진은 사진 비디오 생성의 핵심 기술 대부분을 돌파했으며 Sora보다 더 나은 사진 비디오 생성 품질을 달성했습니다. 소폰 엔진은 제어 가능한 인물 사진 생성 알고리즘을 지속적으로 최적화하고 상용화도 적극적으로 모색하고 있습니다. 현재 확정된 상업용 착륙 시나리오가 발견됐으며, 가까운 시일 내에 '라스트 마일'에서 대형 기종 착륙의 어려움을 해소할 수 있을 것으로 기대된다.
앞으로는 더욱 다재다능한 VDT가 다중 모드 대형 모델 데이터 소스의 문제를 해결하는 강력한 도구가 될 것입니다. VDT는 비디오 생성을 사용하여 실제 세계를 시뮬레이션하고 시각적 데이터 생성의 효율성을 더욱 향상시키며 다중 모드 대형 모델 Awaker의 독립적인 업데이트를 지원합니다.
결론
Awaker 1.0은 Sophon 엔진 팀이 "AGI 실현"이라는 궁극적인 목표를 향해 나아가기 위한 핵심 단계입니다. Sophon Engine은 APPSO에 AI의 자기 탐색, 자기 성찰 및 기타 자율 학습 기능이 지능 수준에 대한 중요한 평가 기준이며 매개 변수 규모(스케일링 법칙)의 지속적인 증가와 마찬가지로 중요하다고 믿고 있다고 APPSO에 말했습니다.
Awaker 1.0은 "활성 데이터 생성, 모델 반영 및 평가, 지속적인 모델 업데이트"와 같은 핵심 기술 프레임워크를 구현하여 이해 측면과 생성 측면 모두에서 획기적인 발전을 달성하여 다중 모드 대형 개발을 가속화할 것으로 예상됩니다. 산업을 모델화하고 궁극적으로 인간이 AGI를 실현할 수 있도록 돕습니다.
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo