오늘날 인공지능 로봇의 발달로 인해 '시각'이나 '청각'을 갖는 것은 더 이상 이상하지 않습니다. 결국 이 두 감각은 인간이 물리적 세계를 인식하는 가장 중요한 채널입니다.
메타AI 기초인공지능연구팀(FAIR)이 최근 발표한 신기술은 로봇에게 ' 터치 '를 제공한다. 이런 점에서 메타의 비전은 AI가 '세상을 더 풍요롭게 이해'하고, '물리적 세계를 더 잘 이해하고 시뮬레이션'할 수 있도록 하는 것입니다.
이러한 신기술은 로봇이 세상과 상호작용할 수 있는 또 다른 방법을 제공하고, 로봇이 " 인간과 같은 " 존재로 나아가는 길로 한 단계 더 나아갈 수 있게 해준다는 점에는 의심의 여지가 없습니다.
▲사진출처: NewsBytes
메타는 미국 센서 기업인 젤사이트(GelSight), 국내 로봇기업 원익 로보틱스(Wonik Robotics)와 협력해 일련의 신기술을 개발하고 있으며, 촉각 센서를 상용화하고 인공지능에 활용하는 데 주력하고 있다.
이러한 신기술에는 촉각 인식, 로봇의 손재주 및 인간-컴퓨터 상호 작용에 초점을 맞춘 " Sparsh ", " Digit 360 " 및 " Digit Plexus "의 세 가지 연구 도구가 포함됩니다. 또한 Meta는 인간-기계 협업의 계획 및 추론을 평가하기 위한 새로운 벤치마크인 " PARTNR "도 도입합니다.
이러한 신기술은 현재 소비자를 위해 출시되고 있는 것이 아니라 과학자와 연구원을 대상으로 하고 있다는 점에 유의하는 것이 중요합니다.
▲사진출처: Techopedia
Sparsh 는 워싱턴 대학과 카네기 멜론 대학이 공동으로 개발한 시각 기반 촉각 인식을 위한 최초의 범용 인코더 모델 입니다.
다소 추상적으로 들리는데, "촉각 기반"인 이유는 무엇입니까?
실제로 전통적인 방법은 특정 작업 및 센서의 수동 모델에 의존하며, 이는 물체의 " 터치 매개변수 "(예: 힘, 마찰 등)를 " 감정 태그 "로 패키징하여 로봇에 공급해야 합니다. 로봇에게 "가벼움"이 무엇인지 말하는 것과 같습니다. "부드럽게 가져가세요" 또는 "세게 밀어주세요".
그러나 이 방법은 서로 다른 작업과 서로 다른 센서에 대해 이러한 많은 태그 데이터를 수집해야 하기 때문에 번거롭습니다.
Sparsh는 각 작업에 해당하는 레이블을 알려주지 않고 SSL(자기 지도 학습)을 통해 경험을 통해 자율적으로 학습합니다. 이는 460,000개 이상의 촉각 이미지가 포함된 대규모 데이터 세트에 대해 사전 훈련되어 있으며, 이는 로봇이 다양한 물체와 장면을 볼 수 있게 한 다음 이러한 물체를 스스로 인식하고 처리하는 방법을 배우는 것과 같습니다.
간단히 말해서 Sparsh는 수동으로 "느낌"에 라벨을 붙이는 대신 로봇이 수많은 사진과 비디오를 보면서 물체를 "느끼는" 방법을 배우게 하는 것과 같습니다. 이렇게 하면 로봇이 다양한 작업에 다양한 촉각 센서를 사용하는 방법을 더 쉽게 배울 수 있습니다.
흥미롭게도 "Sparsh"라는 이름은 " 촉각 또는 접촉 감각 경험 "을 의미하는 산스크리트어에서 유래되었으며, 이는 디지털 촉각 신호를 처리하고 접촉 인식을 달성하는 기능에 매우 적합합니다.
▲사진출처: 메타
Meta가 GelSight와 협력하여 개발한 인공손가락 모양의 촉각 센서 인 Digit 360은 인간 수준의 정확도로 터치를 디지털화하여 풍부하고 상세한 촉각 데이터를 제공합니다.
18개 이상의 감지 기능을 갖춘 Digit 360을 통해 연구원은 다양한 감지 기술을 결합하거나 개별 신호를 분리하여 각 모드에 대한 심층 분석을 수행할 수 있습니다.
공간 세부 사항의 미세한 변화를 감지하고, 1밀리뉴턴만큼 작은 힘을 포착할 수 있으며, 진동, 열, 냄새까지도 감지할 수 있는 여러 감지 모드가 포함되어 있어 이전 센서보다 훨씬 뛰어난 성능을 발휘합니다.
▲디지트 360 촉각센서(오른쪽) 사진출처: 메타
Meta AI 팀은 또한 손가락 끝 표면의 전방향 변형을 포착하기 위해 800만개 이상의 센서 유닛(탁셀)으로 구성된 광시야 터치 감지 전용 광학 시스템을 개발했습니다.
또한, 온디바이스 AI 가속기의 도움으로 Digit 360은 정보를 빠르게 처리하고 터치 자극에 반응하며 로봇의 말초 신경계 역할을 할 수 있습니다. 디자인은 인간과 동물의 반사 호 에서 영감을 받았습니다.
분명히 이 센서는 로봇의 유연성을 향상시키는 것 외에도 의학, 보철, 가상 현실 및 원격 상호 작용과 같은 분야에서 광범위한 응용 가능성을 가지고 있습니다.
▲사진출처: 메타
Meta는 블로그에서 다음과 같이 말했습니다.
인간의 손은 피부 접촉 정보를 손가락 끝에서 손바닥, 뇌로 보내는 데 매우 능숙하여 키보드를 입력하는 방법이나 과열된 물체와 상호 작용하는 방법과 같은 결정을 내릴 때 손 근육을 활성화할 수 있습니다. 임베디드 AI를 달성하려면 로봇 손의 촉각 감지와 모터 작동 간의 유사한 조정이 필요합니다.
이러한 개념을 바탕으로 Meta AI는 원익로보틱스와 협력하여 표준화된 소프트웨어 및 하드웨어 플랫폼 Digit Plexus를 제안하고 구축했습니다.
다양한 손가락 끝 및 피부 촉각 센서(예: Digit, Digit 360 및 ReSkin)를 로봇 손에 통합할 수 있으며, 촉각 데이터가 인코딩되어 단일 케이블을 통해 호스트 컴퓨터로 전송되어 원활한 데이터 수집, 제어 및 분석이 가능합니다. .
Plexus 시스템은 특히 정교한 촉각 피드백이 필요한 로봇 응용 분야의 개발을 단순화하도록 설계되었습니다. Plexus를 사용하면 개발자는 촉각 센서 기술을 로봇 공학 프로젝트에 보다 쉽게 통합하여 로봇의 민첩성과 물리적 세계에 대한 인식을 향상시킬 수 있습니다.
▲이미지출처: 테크크런치
Meta와 Wonik의 다음 협력 단계는 Digit Plexus 플랫폼에서 실행될 Digit 360과 같은 촉각 센서를 장착한 로봇 손인 Wonik의 차세대 Allegro Hand 개발에 중점을 두는 것이라는 점은 언급할 가치가 있습니다.
▲사진출처: XELA
메타는 가정 활동에서의 인간-기계 협업을 연구하기 위해 가정 환경에서 인간-기계 협업 작업을 연구하기 위한 시뮬레이션 플랫폼인 Habitat 3.0을 기반으로 인간-기계 협업 계획 및 추론 작업에 대한 벤치마크인 PARTNR을 출시했습니다.
PARTNR은 60개 주택과 5,800개 이상의 고유 개체를 다루는 100,000개의 자연어 작업으로 구성된 동종 최대 벤치마크입니다. 이 벤치마크의 목표는 인간-컴퓨터 상호 작용 도구를 통해 인간과 협력하여 대규모 언어 및 비전 모델(LLM/VLM)의 성능을 평가하는 것입니다.
메타는 표준화된 벤치마크와 데이터 세트를 제공함으로써 "로봇에 대한 연구가 독립적으로 작동할 뿐만 아니라 인간 주변에서도 작동할 수 있게 하여 로봇이 더 효율적이고 안정적이며 각 개인의 선호도에 적응할 수 있게 되기를 희망합니다"라고 말합니다.
▲사진출처:링크드인
로봇에게 "터치"를 허용하는 것은 "공중의 성"이 아닙니다.
이러한 로봇은 인간보다 외부 변화에 훨씬 더 민감합니다. 효율적인 소프트웨어 및 하드웨어 협업 시스템을 통해 수술 수술 이나 정밀 기기 제조 시나리오 에서 매우 유용하게 사용될 것입니다.
실제로 펜실베니아 주립대학 연구진은 '시각', '청각', '촉각'뿐 아니라 ' 미각 '도 인공지능 모델로 시뮬레이션한 바 있다. Yuanyou를 모방하십시오. 인간 의 후각 .
아마도 미래의 로봇은 감각 측면에서 인간을 완전히 "복제"할 수 있을 것입니다. 단지 더 이상 현실적인 "휴머노이드"를 갖지 않는 것이 좋을 것입니다. 그렇지 않으면 불쾌한 계곡 효과가 발생할 것입니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo