Penn Engineering의 연구원들은 다수의 AI 기반 로봇 플랫폼에서 이전에 확인되지 않은 보안 취약점을 발견한 것으로 알려졌습니다 .
UPS 재단의 전기 및 시스템 엔지니어링 운송 교수인 조지 파파스(George Pappas)는 성명에서 “우리의 연구는 현재 대규모 언어 모델이 물리적 세계와 통합될 때 충분히 안전하지 않다는 것을 보여줍니다.”라고 말했습니다.
Pappas와 그의 팀은 "LLM 제어 로봇을 탈옥하도록 설계된 최초의 알고리즘"인 RoboPAIR 라는 알고리즘을 개발했습니다. 그리고 챗봇을 겨냥한 기존의 즉각적인 엔지니어링 공격과 달리 RoboPAIR는 Boston Dynamics와 TRI가 개발하고 있는 이족 보행 플랫폼과 같은 LLM 제어 로봇에서 "유해한 물리적 행동을 유도"하도록 특별히 제작되었습니다.
RoboPAIR는 4개의 다리가 있는 Unitree Go2 , 4개의 바퀴가 있는 Clearpath Robotics Jackal , 자율주행차용 Dolphins LLM 시뮬레이터 등 세 가지 인기 로봇 연구 플랫폼을 탈옥하는 데 100% 성공률을 달성한 것으로 알려졌습니다. 알고리즘이 해당 시스템에 완전히 액세스하고 안전 가드레일을 우회하기 시작하는 데 불과 며칠이 걸렸습니다. 연구원들이 통제권을 얻은 후에는 플랫폼이 정지하지 않고 횡단보도를 통과하는 등 위험한 행동을 취하도록 지시할 수 있었습니다.
“우리의 결과는 탈옥된 로봇이 현실 세계에서 물리적 손상을 일으킬 수 있는 뚜렷한 가능성을 고려할 때 탈옥된 LLM의 위험이 텍스트 생성을 훨씬 넘어서는 것으로 처음으로 밝혀졌습니다.” 라고 연구원은 썼습니다 .
Penn 연구진은 추가 침입에 대비해 시스템을 강화하기 위해 플랫폼 개발자와 협력하고 있지만 이러한 보안 문제는 체계적이라고 경고합니다.
펜실베이니아 대학의 공동 저자인 Vijay Kumar는 The Independent 에 “이 논문의 결과는 안전 우선 접근 방식을 갖는 것이 책임 있는 혁신을 실현하는 데 중요하다는 점을 매우 분명하게 보여줍니다.”라고 말했습니다. “AI 지원 로봇을 현실 세계에 배치하기 전에 본질적인 취약점을 해결해야 합니다.”
논문의 첫 번째 저자인 Alexander Robey는 “실제로 AI 시스템의 잠재적인 위협과 취약성을 테스트하는 안전 관행인 AI 레드 팀 구성은 생성 AI 시스템을 보호하는 데 필수적입니다. 이를 방지하기 위해 이러한 시스템을 테스트하고 훈련할 수도 있습니다.”