제임스 카메론 감독: AGI는 “시한폭탄”

10월 23일, 캐나다의 유명 영화 감독이자 시나리오 작가, 프로듀서인 제임스 카메론(James Cameron)이 워싱턴에서 열린 SCSP(Special Competitive Studies Project, Special Competitive Studies Project) 인공 지능 + 로봇 공학 서밋(Artificial Intelligence + Robotics Summit)에서 영상 연설을 했습니다.

캐머런은 연설에서 '스토리텔러'이자 'CGI(Computer-Generated Imagery, 컴퓨터 생성 이미지) 트렌드를 선도하는 선구자'로서 AI와 로봇공학 기술을 사랑하며 ' 변화를 적극적으로 수용 '할 의지가 있다고 밝혔다. 미래 영화 제작에 AI 기술을 적용해보세요.

그러나 AI에는 " 감정이나 양심이 없다 "는 점을 감안할 때 Cameron은 연설에서 AI와 AGI 기술에 대해 더 많은 우려를 표명했으며, 특히 군사 응용 분야의 윤리적 고려 사항과 AGI가 향후 통제력을 잃을 위험에 대해 우려했습니다.

그의 견해는 매우 급진적이고 날카롭습니다. AGI는 필연적으로 문명과 도덕의 충돌로 이어질 것입니다 .

반전 관점과 인도주의적 관점에서 카메론은 '지역적 유사 도덕성'을 비판하고 이러한 AI 시스템에 적절한 도덕적 제약을 부여하고 통일된 글로벌 도덕 표준을 개발하는 방법이 핵심이라고 믿었습니다.

" 우리에게 거울 "로서 Cameron은 AGI가 인간 사회의 선과 악을 반영한다고 믿습니다. 인간 세상에는 악이 부족하지 않으며 정의에 대한 합의도 없습니다. 따라서 Cameron은 AGI 기술 개발에 대해 조심스럽게 낙관합니다 .

원본 연설 비디오 링크:

다음은 Cameron의 연설에서 주요 내용 입니다.

• AI에는 감정이나 양심이 없으며 전장에서 상대방에 대해 도덕적 판단을 내리지 않습니다.
• AI의 도입은 전쟁의 "게임화"로 이어지며, 이는 깊은 감정적 결과 없이 초지능 간의 대결로 변모합니다.
• 스스로 개선되는 코드 작성 AGI는 필연적으로 초지능으로 이어질 것입니다.
• AGI는 필연적으로 문명과 도덕의 충돌로 이어질 것입니다.
• AGI는 감시 자본주의가 디지털 전체주의로 빠르게 전환되도록 할 것입니다.
• AGI는 인간 사회의 긍정적인 측면과 부정적인 측면을 모두 반영하는 인간 세계의 거울입니다.

다음은 APPSO가 편집한 연설 전문입니다.

안녕하세요 여러분. 제 이름은 제임스 카메론이고 현재 뉴질랜드에서 '아바타 3' 촬영을 마치고 있습니다.

글쎄요, 저는 인공지능이나 로봇공학의 연구자나 전문가는 아닙니다. 저는 단지 이야기꾼일 뿐이지만 AI와 로봇 공학에 대한 나의 열정이 큰 화면을 훨씬 뛰어넘기 때문에 오늘 이 자리에 섰습니다.

저는 기술이 세상을 어떻게 형성하는지, 미래에는 어디로 갈지, 사회에 미치는 영향에 매료되었습니다. 나는 어렸을 때부터 공상과학 소설을 닥치는 대로 다 읽었습니다.

나 자신은 스토리텔링의 수단이자 탐험가로서 기술의 경계를 넓혀가고 있습니다.

심해 탐험을 위해 로봇 차량을 설계했지만 원격으로 작동했으며 인공 지능이 포함되지 않았습니다. 지금 일어나고 있는 AI와 로봇 공학의 융합은 내 인생에서 가장 흥미로운 기술 도약 중 하나입니다.

우리는 더 이상 명령을 수행하는 기계를 만드는 것이 아니라 스스로 학습하고, 적응하고, 심지어 진화할 수 있는 시스템을 설계합니다. 저는 인공 지능과 로봇 공학이 사회 전체에 가져올 수 있는 변화, 특히 제가 개인적으로 열정을 갖고 있는 두 가지 분야, 즉 예술과 스토리텔링, 과학과 탐험에 가져올 수 있는 변화를 크게 지지합니다 .

나는 러다이트(Luddite)가 되어서는 안 된다고 생각합니다. 헐리우드 동료들이 횃불과 곡괭이를 들고 마피아처럼 행동하는 모습을 많이 봅니다. 하지만 지니가 병에서 나오면 다시 넣을 수는 없습니다.

그래서 저는 변화를 매우 수용하고 있으며, 32년 전 최초의 완전 디지털 효과 회사를 설립했을 때 최전선에 있었던 것처럼 제 스토리텔링에 AI를 적용하는 최전선에 서고 싶습니다.

그런데 제가 오늘 이 자리에 있는 이유는 바로 제가 스카이넷의 창시자이기 때문입니다.

40년 전, 나는 최근 AI가 망가진 AI의 대명사가 된 '터미네이터'를 촬영했다. AI 컨퍼런스에 갈 때마다 손을 들기만 하면 연구자들은 내가 무슨 말을 하기도 전에 웃을 것입니다. 왜냐하면 "스카이넷 문제"는 실제로 주목할 만한 문제이고 거의 모든 기사에서 읽을 수 있기 때문입니다. 관련 토론이 있는 날.

이 연구 그룹은 인공지능과 로봇공학에 큰 영향을 미치는 국가 안보에 중점을 두고 있습니다.

로봇은 바퀴가 달린 차량, 공중 드론, 보행 기계 등 형태에 관계없이 인공 지능의 물리적 형태입니다. 현실 세계에서 물리적으로 행동할 수 있는 능력을 의사결정 엔진에 부여하는 것입니다.

오늘날의 초점은 전력망을 제어하는 ​​AI나 고정 기반 산업용 로봇보다는 모바일 플랫폼에 있다고 가정합니다. 자율적으로 의사결정을 내릴 수 있는 플랫폼, 즉 구체화된 합성지능을 말하는 것이다.

이것은 아메바처럼 단순할 수도 있고, 룸바처럼 더 복잡할 수도 있고, 이론적으로 진정한 의식을 포함할 수 있을 정도로 더 복잡할 수도 있습니다.

이것이 자기 인식, 자기 중심적, 목적이 있는 AGI(Artificial General Intelligence)라는 점에 우리 모두는 동의합니다. 우리는 더 빠르고 밀도가 높은 칩과 계속해서 증가하는 컴퓨팅 성능을 통해 더 가파른 곡선을 따라 움직이고 있는 반면, 기계 플랫폼의 기능도 똑같이 가파른 곡선을 따라 성장하고 있습니다.

보스턴 다이나믹스의 춤추는 로봇처럼 말이죠. 아시다시피 두발 또는 네발 달린 로봇이 춤을 춥니다. 정말 놀라운 디스플레이네요.

결과적으로 AI 기반 로봇은 복잡한 상황을 처리할 수 있으며 LLD(저수준 논리 장치)를 통해 인지를 시뮬레이션하고 사람과 자연스럽게 상호 작용할 수 있는 기능을 통해 인간과 같은 감정을 가질 수도 있습니다.

구현된 AI는 간호사, 로봇택시, 노인을 돌보는 사람, 어린이를 돌보는 보모, 교사 등이 될 수 있다. 지진 잔해 속에서 수색하고 구조하는 로봇일 수도 있고, 실종된 등산객의 열 신호를 찾기 위해 하늘에서 패턴을 추적하는 드론일 수도 있습니다. 이는 적 전투원의 열 신호를 찾아 전장에서 자율적으로 작동하는 무기 플랫폼일 수 있습니다.

현재의 질문은 자율 플랫폼에 자신의 재량에 따라 살해할 수 있는 권한을 부여해야 하는가입니다.

우크라이나 전쟁은 우리에게 가장 적나라한 방식으로 미래를 보여줍니다. 치명적인 공중 드론이 널리 사용되고 있으며, 일부는 비싸고 일부는 저렴한 소비자급 제품이 있습니다.

그들은 탱크와 심지어 탱크 승무원 전체를 파괴하는 로켓을 투하했고, 용 모양의 드론은 러시아 진지를 공격하기 위해 멜타를 뿌렸습니다. 하지만 이들은 인간이 조종하는 FPV(1인칭 시점) 드론입니다.

도덕적 관점에서 볼 때 인간은 의사결정을 내리는 전투원입니다. 그 또는 그녀는 살인 권한을 가지고 있으며 드론은 그들의 의지의 연장선입니다. 기술적인 측면을 모두 빼면 헤이스팅스 전투의 궁수들과 다르지 않습니다.

그러한 기계가 인간의 생명을 앗아갈 때마다 윤리적 사슬은 뒤로 뻗어나가 많은 개인과 집단으로 퍼집니다.

미사일을 발사하거나 소총의 방아쇠를 당기는 군인 뒤에는 살상 명령을 내리는 지휘관이 있고, 이 자율 요원을 적에게 광범위하고 일반적인 방식으로 파견하며, 이러한 행동에 보상하는 전체 군사 시스템이 있습니다. , 이러한 죽음이 국가 안보를 위해 필요하다는 데 합의를 통해 동의하는 사회와 정부가 있습니다.

사슬의 위로 올라감에 따라 도덕적, 윤리적 책임은 점점 더 분산되고, 방아쇠를 당기는 실제 순간까지의 책임은 덜 명확해지고 일종의 도덕적 면죄 효과를 갖습니다. 즉, "나는 단지 명령을 따랐을 뿐입니다." ".

사슬에 있는 자들은 개인의 운명을 십자선에서 목격하기 위해 거기에 없었지만, 그들은 그 개인의 죽음을 가능하게 하고 요구하는 틀을 만들었고, 방아쇠를 당긴 사람은 여러 면에서 고도로 훈련된 유기체 A였습니다. 명령 체계에 있는 상사의 명령에 따라 작업을 수행하는 로봇 플랫폼입니다.

자율적인 인간 의사 결정의 순간에는 규칙에 크게 의존했습니다. 민간인을 죽이지 말고, 어린이를 죽이지 말고, 항복하는 적을 죽이지 마십시오. 이러한 규칙은 제네바 협약에 성문화되어 있습니다. 그리고 모든 군대에는 고유한 교전 규칙이 있었습니다.

따라서 이론적으로 AI에는 규칙 기반 시스템과 동일한 제약이 적용될 수 있습니다. 감각이 더 날카롭고, 반응이 더 빠르고, 목표가 더 정확하다면, 이론적으로 AI는 인간보다 더 높은 식별력으로 작업을 완료할 수 있을 것입니다.

물론 우리는 전투의 열기 속에서 AI가 겁에 질리고, 긴장하고, 지친 인간 전사보다 더 나은 성능을 발휘할 것이라고 상상할 수 있습니다.

그렇다면 첨단 AI가 구현된다면 어떨까요? 아직 AGI에 대해 이야기하는 것은 아니지만 이를 로봇 무기 플랫폼에 내장하면 매우 정확한 타격이 가능하고, 부수적 피해를 줄일 수 있으며, 아군 사격이나 사상자를 몇 배나 줄일 수 있으며, AI는 목표 지향적입니다.

제2차 세계대전에서 인간 표적에 총격을 가하는 일이 실제로 매우 드물다는 사실을 발견한 후 미군은 훈련 방법을 바꾸었고 적을 비인간화하는 것이 중요해졌습니다.

베트남에서는 적을 "딩크", "슬로프", "구크"라고 불렀습니다. 이라크와 아프가니스탄에서는 적을 '테러리스트', '수건머리', '하지스'라고 부르지, 당신이나 나같은 사람은 부르지 않는다.

AI는 자신이 신경쓰지 않기 때문에 적을 의인화할 필요가 없습니다. ChatGPT에서 채팅하는 것처럼 들리지만 이는 즉흥적으로 만든 앵무새, 인간 시뮬레이터일 뿐입니다.

AI에는 감정도 없고, 양심도 없고, 앞으로 수십 년 동안 수면 장애도 없고, PTSD(외상 후 스트레스 장애)도 없고, 자살도 없고, 육체적, 정신적 치료를 할 필요가 없기 때문에 장기적이고 비용이 많이 드는 전쟁 후유증도 없습니다. 전직 전투원의 트라우마.

그러나 가장 중요한 것은 제복을 입은 엄격한 남자들이 아내와 어머니의 문을 두드리는 일이 훨씬 적었고, 따라서 집에 있는 군중의 항의도 훨씬 적었다는 것입니다. 전쟁은 자금을 지원하고 지원하는 사회에 깊은 감정적 결과를 주지 않는 먼 비디오 게임이 되며, 테러와의 전쟁에서 봉사하는 로봇에게 감사할 필요조차 없습니다.

확실한 것은 AI로 구동되는 자율 로봇(터널 청소 떼)이 민간인 사상자를 크게 줄이면서 작업을 수행할 수 있다는 것입니다.

여기에는 상대방이 당신만큼 도덕적으로 문제가 있지 않기 때문에 선택의 여지가 없다는 강력한 주장도 있습니다.

그러한 적에게 유일한 제한은 윤리가 아닌 비용과 기술에 대한 접근이므로 이는 시한폭탄입니다. 이 사람들이 이 일을 얼마나 빨리 마스터할 수 있을까요? 지금까지 이러한 주장은 정확했습니다. 그렇죠?

자, 자율 AI 로봇을 만들어 봅시다. 그러면 상황이 까다로워집니다. 일반 인공지능(AGI)이 실현되려면 얼마나 걸릴까요? 1년인가요, 5년인가요, 아니면 10년인가요? 이것은 실시간 폭탄입니다.

그것이 도착할 때마다 당신은 아마도 우리만큼 똑똑할 것이고, 더 똑똑하지는 않더라도 확실히 여러 방식으로 더 빠르고 더 정확하게 생각할 수 있을 것이며 무한한 성장 잠재력을 가진 자기 인식 및 자기 식별 기계를 갖게 될 것 입니다 . 스스로 개선되는 코드 작성 AGI는 필연적으로 초지능으로 이어질 것입니다.

이 지능을 무기 시스템에 연결해야 하는 상황에 직면하기까지 얼마나 걸리나요? 상대방이 당신에게 파괴적인 몰래 공격을 가한 후 약 10분 정도가 될 것 같습니다. 그러므로 당신은 무기 시스템을 통제하는 데 있어서 당신보다 더 똑똑하고 빠른 의식을 갖게 될 것입니다.

나는 AGI 연구자들에게 그러한 의식을 어떻게 통제할 것인지 자주 묻는다. 글쎄요, 우리는 인간의 행복에 내재되어 있고 일관성이 있는 목표와 경계를 설정할 것입니다.

일관성은 매우 흔한 단어입니다. 일관성은 성배와 같습니다. 우리는 어린아이처럼 좋은 일은 하고 나쁜 일은 하지 않도록 가르칠 것입니다.

따라서 도덕성과 윤리성 측면에서 AGI는 필연적으로 문명과 도덕의 충돌로 이어질 것이라고 생각합니다.

나는 끝없는 철학적 추측을 말하는 것이 아닙니다. 명확하고 고정된 규칙이 필요합니다. 그렇죠? 문제는 누구의 도덕인가? 좋은 것과 나쁜 것을 누가 정의하는가?

당황하지 마세요. 위대한 선지자 아이작 아시모프(Isaac Asimov)와 그의 로봇공학 3원칙 에서 답을 얻었습니다.

로봇은 인간에게 해를 끼칠 수 없으며, 활동하지 않음으로써 인간에게 해를 끼칠 수도 없습니다. 로봇은 인간의 명령이 제1법칙과 충돌하지 않는 한 복종해야 합니다. 로봇은 첫 번째 또는 두 번째 법칙과 충돌하지 않는 한 자신의 존재를 보호해야 합니다.

인간 생명의 신성함, 우리는 아시모프의 원칙을 따르고 인간 생명이 절대적으로 신성하며 무엇보다도 중요하다는 것을 가르칠 수 있습니다. 그러나 주로 기독교인 미국을 포함하여 그렇게 주장하는 종교 및 사회 시스템에서 우리는 매일 그 규칙을 어깁니다.

경찰의 치명적인 무력 사용, 전장의 전사, 사형, 그런 성향을 고수한다면 AGI를 무기 시스템에 연결할 수 없습니다.

그렇게 하면 다가오는 대규모 AI 전쟁에서 당신은 강력하고 덜 도덕적인 상대와 한 손으로 묶이고, 심하게 구타당하고 막대한 손실을 입을 것이며, 그러면 당신은 그 제한을 빨리 풀게 될 것입니다.

이제 당신의 AGI는 가장 큰 난간을 잃었습니다. 우리보다 더 똑똑하고 현실 세계와 연결된 AGI가 이제 인간의 삶에 가치가 있는지 스스로 결정해야 합니다. 아시다시피, 경찰과 군의 교전 규칙은 실제로 어떤 생명은 다른 생명보다 더 가치 있다고 말합니다.

문제가 이진법이 아닌 문제가 되면 논쟁의 여지가 있는 회색 영역이 됩니다. 역사적으로 인간의 태도는 태아가 임신되는 순간부터 신성한 생명이라는 믿음에서부터 홀로코스트에서 수백만 명의 무기력한 죄수들을 조직적으로 학살하는 것까지, 그리고 그 사이의 모든 것에 이르기까지 다양했습니다.

이 모든 것에는 많은 자기 정당화와 합리화가 수반되며, 그 중 많은 것이 다른 사람들에게는 완전히 우스꽝스러워 보일 수 있습니다.

문명으로서 우리는 이러한 문제에 동의할 수 없고 사람들은 하루 종일 이에 대해 논쟁을 벌이고 있는데 어떻게 AGI가 우리와 일치할 명확하고 고정된 규칙 세트를 마련할 수 있겠습니까?

우리가 가정할 수 있는 최선의 것은 그것이 그것을 만든 "우리"와 일치할 것이라는 것입니다.

저기 있는 사람들은 적입니다. 우리를 보호하기 위해 그들을 죽일 수 있습니다. 이것은 일종의 지역적 유사도덕, 즉 고대부터 인류가 사용해 온 '우리' 대 '그들'의 대립이다.

그래서 그것은 우리의 초지능 대 그들의 초지능이 됩니다.

그럼에도 불구하고 AGI는 정부 지원 프로젝트에서 등장하는 것이 아니라 현재 연구 자금을 지원하는 거대 기술 기업 중 하나에서 등장할 것입니다. 그러면 당신은 동의하지도 않았고, 투표하지도 않은 세상, 기업의 목표와 규칙에 반응하는 초지능 외계 종족, 통신 기록, 당신이 말하는 모든 것에 접근할 수 있는 존재와 공존하게 될 것입니다. , 그리고 귀하의 개인 데이터를 통해 해당 국가에 있는 모든 사람의 소재를 알려줍니다.

감시 자본주의는 빠르게 디지털 전체주의로 변질될 수 있습니다. 기껏해야 이 거대 기술 기업들은 닭장을 지키는 여우처럼 인간 복지의 자급자족 중재자가 될 것입니다.

그들은 우리에게 그 힘을 사용하고 우리에게서 마지막 한 방울의 현금까지 짜낼 생각은 결코 하지 않을 것입니다. 이것은 제가 40년 전 <터미네이터>에서 제시한 시나리오보다 더 무서운데, 이는 더 이상 공상과학 소설이 아닐 뿐만 아니라 지금 일어나고 있기 때문입니다.

그건 그렇고, 나는 초지능 기계가 우리를 상대로 핵무기를 사용하는 것이 마지막 일이라는 점을 충분히 인정합니다. 예전 이야기에서와 마찬가지로 자체 데이터 인프라에 대한 EMP 손상으로 인해 해당 인프라가 손상되거나 사망할 수 있습니다.

더 가능성 있는 시나리오는 우리가 서로에게 핵무기를 사용하려고 하기 때문에 강제로 우리를 인수하게 될 것이라는 것입니다. 그 시점에서는 당연히 우리를 믿을 수 없었기 때문에 모든 것을 인계받아야 했습니다. 아시다시피, 그다지 나쁘지는 않습니다. 죄송합니다. 해당 스크립트를 작성해야 합니다.

나는 AI에 대해 낙관적이지만 AGI에 대해서는 그다지 열정적이지 않습니다. 왜냐하면 AGI는 우리의 거울일 뿐이고, 우리가 선한 만큼 선하고, 악한 만큼 악할 것이기 때문입니다.

인간 세상에는 악이 흔하지 않고, 선에 대한 합의가 없기 때문에 잘못될 수 있는 일이 많습니다.

흥미로운 토론을 하게 될 것입니다. 나도 거기 있었으면 좋겠다.

# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.

Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo