GPT-4로 대표되는 대형 모델에는 뇌가 내장되어 있으며, 다음 단계는 이 뇌를 운반할 수 있는 로봇 본체가 필요한 것입니다.
어젯밤 늦게 휴머노이드 로봇 스타 회사인 Figure AI는 OpenAI의 강력한 모델의 지원을 받아 로봇 Figure 01이 수행하는 일련의 대화 상호 작용을 보여주는 비디오를 충격적으로 공개했습니다.
영상 속 로봇은 유연한 조작 반응을 보여주며 인간과의 유창한 의사소통 능력은 실제 사람과 거의 비슷하다.
피규어AI가 오픈AI, 마이크로소프트, 엔비디아 등 기업으로부터 투자를 받은 지 보름도 채 안 됐다. 또한 OpenAI의 가장 강력한 다중 모드 대형 모델이 신체와 함께 어떻게 보이는지 확인할 수 있었습니다.
Figure 01, 당신을 가장 잘 이해하는 휴머노이드 로봇은?
OpenAI의 다중 모드 대형 모델의 강력한 지원 덕분에 Figure 01은 이제 테이블 위의 객체 인식 전문가가 되었습니다. 사과, 배수구, 컵, 접시는 모두 케이크 조각입니다!
배가 고파서 한 입 먹고 싶을 때, 그 순간 당신의 생각을 알아채고 부드럽게 사과를 건네줍니다.
게다가, 당신이 버린 쓰레기를 주워서 방금 사과를 준 이유를 설명할 수도 있습니다. 대형 모델의 도움으로 Figure 01은 테이블 위의 유일한 음식인 사과를 이해할 수 있습니다.
사람의 명령에 따라 Figure 01은 집안일도 하고 설거지도 할 수 있는데, 이 로봇은 그야말로 가족 생활의 최고의 파트너입니다.
이 놀라운 영상을 본 네티즌들은 다양한 반응을 보였다.
네티즌들은 그림 01에 작업을 할당하고 싶어합니다. 작업 목록에 로봇 전임자에 대한 영화가 혼합되어 있는 이유는 무엇입니까?
경쟁자들은 이를 두려워하고, 마음속으로 불안해하며, 몰래 대규모 기술 경쟁을 준비하고 있는 걸까?
더욱 흥분된 네티즌들은 AGI의 새벽이 코앞으로 다가온 것 같다고 말했습니다.
물론 비판적인 목소리도 항상 나오고 일부 네티즌들은 이 로봇이 왜 말을 더듬는가?
네티즌들도 농담을 할 기회를 놓치지 않았다.
Figure AI의 수장인 Brett Adock은 혼자 있기를 싫어하고 X에 뛰어들어 멋진 해석을 내놓았습니다.
이 비디오는 엔드투엔드 신경망의 적용을 보여줍니다. 이 과정에서는 원격 제어(텔레오)가 사용되지 않습니다. 비디오는 실제 속도(1.0x 속도)로 촬영되며 연속됩니다.
영상에서 볼 수 있듯이 로봇의 속도는 눈에 띄게 향상되어 점차 인간과 비슷한 속도에 도달하고 있습니다.
리모콘이 필요하지 않으며 독학 가능
그렇다면 그림 01은 어떻게 하는 걸까요?
Figure AI 팀 리더 Corey Lynch가 X에 대해 설명했습니다.
구체적으로, 비디오에서 시연된 모든 동작은 학습되었으며(원격 제어 아님) 실제 속도(1.0x 속도)로 수행되었습니다.
Figure AI는 로봇의 카메라로 캡처한 이미지와 온보드 마이크를 통해 녹음된 음성 텍스트를 이미지와 텍스트 정보를 모두 이해할 수 있는 OpenAI가 훈련한 다중 모드 모델에 공급합니다.
모델은 과거 이미지를 포함한 전체 대화 내역을 처리하여 음성 응답을 생성하고 텍스트 음성 변환을 통해 인간에게 다시 말합니다. 동일한 모델은 주어진 명령에 응답하여 어떤 학습된 폐쇄 루프 동작을 실행할지 결정하는 역할도 하며 특정 신경망 가중치를 GPU에 로드하고 해당 정책을 실행합니다.
Figure 01을 사전 훈련된 대규모 다중 모드 모델에 연결하면 많은 흥미로운 새로운 기능이 제공됩니다.
이제 Figure 01 + OpenAI는 다음을 수행할 수 있습니다.
- 주변 환경을 자세히 설명하세요.
- 결정을 내릴 때 상식적인 추론을 사용하십시오. 예를 들어, "테이블 위에 있는 저 접시나 컵 같은 물건은 다음 건조대에 놓일 가능성이 높습니다."
- "배가 고파요"와 같은 모호하고 높은 수준의 지시를 "그 사람에게 사과를 건네주세요"와 같은 상황에 맞는 행동으로 전환하세요.
- 특정 작업을 수행하는 이유를 일반 영어로 설명합니다. 예를 들어, "이것은 내가 식탁에서 제공할 수 있는 유일한 먹을 수 있는 품목입니다."
Figure 01이 학습을 통해 익힌 섬세한 실습 기술에는 실제로 복잡하고 미묘한 일련의 원리가 있습니다.
모든 행동은 이미지 픽셀을 행동에 직접 매핑하는 신경망의 비전-모터 변환기 전략에 의해 구동됩니다. 이 네트워크는 초당 10프레임의 속도로 로봇에 내장된 이미지를 수신하고 초당 200회 200개의 24자유도 모션(손목 자세 및 손가락 관절 각도 포함)을 생성합니다.
이러한 움직임은 고속 전신 컨트롤러의 추적을 위한 고속 "설정점" 역할을 하여 정확한 움직임 실행을 보장합니다.
이 디자인은 관심사를 효과적으로 분리합니다.
- 인터넷 사전 훈련된 모델은 이미지와 텍스트에 대한 상식적 추론을 수행하여 높은 수준의 계획을 생성합니다.
- 학습된 시각-운동 전략은 이 계획을 실행하여 임의의 위치에서 변형 가능한 가방을 조작하는 것과 같이 수동으로 지정하기 어려운 빠르고 반응적인 동작을 수행합니다.
- 동시에 전신 컨트롤러는 로봇의 균형을 유지하는 등 움직임의 안전과 안정성을 보장하는 역할을 담당합니다.
Figure 01의 큰 진전에 대해 Corey Lynch는 다음과 같이 한탄했습니다.
불과 몇 년 전만 해도, 자율적으로 학습된 행동을 계획하고 실행할 수 있는 휴머노이드 로봇과 완전한 대화를 나누는 것이 앞으로 수십 년이 걸릴 것이라고 생각했을 것입니다. 분명히 많은 것들이 극적으로 변했습니다.
휴머노이드 로봇의 GPT 순간이 아닐까?
Figure 01의 개발 속도는 마치 액셀러레이터를 밟고 질주하는 것과 같다고 할 수 있습니다.
Figure 01은 올해 1월 커피 만들기 기술을 마스터했는데, 이는 단 10시간의 훈련만으로 로봇이 자율적으로 학습하고 오류를 수정할 수 있는 엔드투엔드 신경망을 도입했기 때문입니다.
한 달 후, Figure 01은 상자를 들어 올려 컨베이어 벨트로 전달하는 새로운 기술을 배웠습니다. 비록 인간 속도의 16.7%에 불과한 속도지만 말이죠.
이 과정에서 피규어 AI의 상용화 속도는 멈추지 않았고, BMW 매뉴팩처링사와 AI와 로봇공학 기술을 자동차 생산라인에 통합하는 상용 계약을 체결해 BMW 공장에 안착했다.
그러다가 불과 2주 전에 Figure는 6억 7,500만 달러 규모의 시리즈 B 자금 조달을 완료했으며 회사 가치는 26억 달러로 치솟았다고 발표했습니다.
투자자는 Microsoft, OpenAI Venture Fund, NVIDIA, Jeff Bezos, Parkway Venture Capital, Intel Capital 및 Align Ventures 등 실리콘 밸리의 거의 절반을 차지합니다.
당시 OpenAI와 Figure는 차세대 휴머노이드 로봇 AI 모델을 공동 개발하겠다고 발표했으며, OpenAI의 멀티모달 모델을 로봇 인식, 추론, 상호 작용까지 확장할 예정입니다.
이제 Figure 01을 통해 우리는 미래 삶의 초안을 엿볼 수 있는 것 같습니다.
사실 대형모델 이전에는 로봇이 특수 장비였다면, 이제 대형모델의 일반 기능이 등장하면서 일반 로봇도 등장하기 시작하는데 이제는 ChatGPT뿐만 아니라 WorkGPT도 필요합니다.
이러한 진화는 명확하게 보이는 경로를 간접적으로 확인합니다. 대규모 AI 모델이 뿌리를 내린 후에는 결국 현실 세계에 진입하게 되며, 구체화된 지능이 최선의 경로입니다.
AI 분야 최전선에서 활동해온 엔비디아 창업자 젠슨 황(Jensen Huang)은 “체화된 지능이 차세대 인공지능의 물결을 이끌 것”이라고 말한 바 있다.
OpenAI 대형 모델을 그림 01에 통합하는 것도 의도적인 전략적 레이아웃입니다.
성숙한 AI 대형 모델은 인공 두뇌 역할을 하여 인간 두뇌의 복잡한 신경망을 시뮬레이션하고, 언어 이해, 시각 인식, 상황 추론과 같은 인지 기능을 실현하고, 로봇의 더 높은 수준의 인지 및 의사 결정 문제를 해결합니다.
동시에 다양한 센서, 액추에이터 및 컴퓨팅 장치가 로봇 본체에 통합되어 환경과의 인식 및 상호 작용을 실현합니다. 예를 들어 비전 시스템은 이미지와 비디오를 캡처할 수 있고, 촉각 센서는 물체의 모양과 질감을 감지할 수 있습니다.
피규어AI 창업자인 브렛 애드콕(Brett Adcock)은 앞서 한 인터뷰에서 “향후 1~2년 동안 피규어AI가 랜드마크 제품 개발에 집중할 것”이라며 “향후 1~2년 안에 휴머노이드 로봇의 연구개발 성과를 대중에게 선보일 것으로 기대한다”고 밝힌 바 있다. AI 시스템, 저수준 제어 등을 다루며 마침내 일상 생활에서 자신의 재능을 발휘할 수 있는 로봇이 등장합니다.
또 가격 면에서 보면 휴머노이드 로봇은 부품이 약 1000개, 무게는 약 68kg인 반면, 전기차는 부품이 약 1만개, 무게가 1800~2250kg 정도 된다고 밝혔다. 따라서 장기적으로 휴머노이드 로봇의 가격은 액츄에이터, 모터 부품, 센서, 컴퓨팅 비용 등의 비용에 따라 값싼 전기차에 비해 낮아질 것으로 예상된다.
로봇 전문가인 에릭 장은 다음과 같은 통찰을 내놓은 적이 있습니다. "많은 AI 연구자들이 범용 로봇이 대중화되려면 수십 년이 걸릴 것이라고 믿고 있지만, ChatGPT는 거의 하룻밤 사이에 탄생했다는 사실을 잊지 마세요."
1년 전 오늘, OpenAI는 GPT-4를 출시하여 대형 모델의 위력을 세계에 입증했습니다.
1년이 지난 오늘, 우리는 GPT-5를 기다리지 않고 Figure 01도 맞이했습니다. 이것이 휴머노이드 로봇의 GPT-4 순간이 될까요?
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠를 최대한 빨리 제공해 드리겠습니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo