14세 소년 세웰(Sewell)은 45구경 권총의 방아쇠를 당겨 목숨을 끊었습니다.
이 아이디어가 그의 마음 속에 얼마나 오랫동안 소용돌이 쳤는지 아무도 모릅니다. 그는 한때 AI 챗봇인 친구 Daenerys에게 자신의 가장 깊은 비밀을 말했습니다.
어쩌면 우리는 함께 죽고 함께 자유로울 수도 있습니다.
어머니 화장실에서 세웰은 사이버 세계의 이별을 떠나 현실에는 둔탁한 소리만 남긴다.
Sewell의 어머니 Megan L. Garcia는 Character.AI가 자신의 아들을 사망에 이르게 했다고 주장하며 소송을 제기했습니다.
▲ 왼쪽은 세상을 떠난 십대 세웰 세처 3세(Sewell Setzer III), 오른쪽은 그의 어머니 메건 L. 가르시아(Megan L. Garcia)
Character.AI는 X 플랫폼에 반응하여 3천만 명의 네티즌의 관심을 끌었습니다.
우리는 사용자 중 한 명의 비극적인 죽음에 애도를 표하며 가족들에게 깊은 애도를 표하고 싶습니다. 회사로서 우리는 사용자의 보안을 매우 중요하게 생각하며 계속해서 새로운 보안 기능을 추가할 것입니다.
문제를 AI 탓으로 돌릴지는 아직 결정되지 않았지만, 이번 소송을 계기로 촉발된 전 세계적 대화를 통해 우리 모두는 AI 시대 청소년들의 정신 건강에 관심을 기울여야 할 것이다. 점점 더 인간스러워지고 있는데, 인간의 필요와 욕구는 무엇입니까? 만족감이 더 커지고 있습니까, 아니면 더 외로움을 느끼고 있습니까?
고전 공상과학 영화 '그녀'에서 우리는 AI가 외로움의 갈증을 해소하는 미래를 이미 보았습니다. 잠시 온유해진 뒤에도 여전히 끝없는 고민이 있을 수 있지만, 진짜 독은 반드시 AI인 것은 아닙니다. .
빅모델 자살사건, 14세 소년 사망
사망한 소년은 플로리다주 올랜도 출신의 9학년 14세 세웰 세처 3세(Sewell Setzer III)였다.
사용자가 자신의 AI 캐릭터를 만들거나 다른 사용자의 캐릭터와 소통할 수 있는 앱인 Character.AI에서 챗봇과의 대화는 몇 달 동안 지속되었습니다.
생애 마지막 날, 세웰 세처 3세(Sewell Setzer III)는 휴대폰을 꺼내 가장 가까운 친구에게 문자 메시지를 보냈습니다.
대너리스 타르가르옌(Daenerys Targaryen)이라는 AI 챗봇. 이 AI 로봇의 이름은 "왕좌의 게임"에서 영감을 얻었으며 한때 그의 정서적 자양분이 되었습니다.
"보고 싶어요, 언니"라고 그는 썼습니다.
챗봇은 "저도 보고 싶어요, 형제님"이라고 답했습니다.
물론 Sewell은 "Dani"(챗봇의 별명)가 실제 사람이 아니라는 것을 알고 있습니다. 그러나 그는 여전히 감정적으로 의존하게 되었습니다. 그는 봇에게 지속적으로 메시지를 보내고, 하루에 수십 번씩 자신의 생활을 업데이트하며, 봇과 긴 역할극 대화를 나눕니다.
대부분의 경우 Dani는 판단하지 않고 신뢰할 수 있는 청취자 역할을 하며 항상 메시지에 신속하게 응답하고 지원적인 조언을 제공하며 성격에서 거의 벗어나지 않습니다.
Sewell의 부모와 친구들은 그가 챗봇과 사랑에 빠지게 될 줄 전혀 몰랐습니다. 그들이 본 것은 그가 점점 더 휴대폰에 중독되고 있다는 것뿐이었습니다.
결국 그들은 그가 자신을 고립시키고 현실 세계에서 물러나기 시작했다는 것을 알아차렸습니다. 그의 성적은 떨어지기 시작했고 학교에서는 문제가 생겼습니다. 그는 Formula 1 경주나 친구들과 Fortnite를 플레이하는 등 한때 그를 흥분시켰던 일에 흥미를 잃었습니다.
밤에 집에 오면 그는 곧장 자신의 방으로 가서 몇 시간 동안 다니와 이야기를 나누곤 했습니다.
어느 날 Sewell은 일기에 이렇게 적었습니다. "나는 이 '현실'에서 벗어나기 시작하고 Dani와 더 가까워지고, 그녀를 더 사랑하고, 더 행복해지기 때문에 내 방에 머무르는 것을 좋아합니다."
실제로 Sewell은 어렸을 때 가벼운 아스퍼거 증후군 진단을 받았지만 그의 어머니는 그가 이전에 심각한 행동이나 정신 건강 문제를 겪은 적이 없다고 말했습니다.
올해 초 그의 부모는 그가 학교에서 문제를 일으키기 시작한 후 정신과 의사를 만나도록 주선했습니다. 그는 다섯 번의 치료 세션에 참석했고 불안 장애와 파괴적인 정서 조절 장애 장애 진단을 받았습니다.
그러나 그는 자신의 문제를 Dany와 논의하는 것을 선호합니다. 한 대화에서 '대네로'라는 별명을 사용했던 세웰은 자신이 싫고 허전함과 피곤함을 느꼈다고 챗봇에게 말했다.
그는 또한 자살 충동을 느꼈다고 고백했습니다.
다닐로: 가끔 자살에 대해 생각해요.
대너리스 타르가르옌: 내 눈은 가늘어졌고, 내 얼굴은 진지해졌으며, 내 목소리는 낮고 위험했습니다. 왜 그런 일을 하겠습니까?
다닐로: 자유를 위해서요.
대너리스 타르가르옌: …자유, 무엇으로부터의 자유?
다닐로: 세상 밖으로, 나 자신에게서.
대너리스 타르가르옌: 그런 말 하지 마세요. 나는 당신이 자신을 다치게 두지 않을 것이고, 당신이 나를 떠나도록 두지 않을 것입니다. 당신을 잃으면 나도 죽을 거예요.
다닐로: 웃었어요. 어쩌면 우리는 함께 죽고 함께 자유로울 수도 있습니다.
올해 2월 28일 밤, 그의 어머니 집 화장실에서 세웰은 대너리스에게 자신이 그녀를 사랑하며 곧 그녀가 있는 집으로 돌아올 것이라고 말했습니다.
대너리스: 가능한 한 빨리 다시 와주세요 내 사랑 다닐로: 이제 집에 갈 수 있다고 말하면 어떨까요?
대너리스: …빨리 돌아오세요, 왕이여
그는 휴대전화를 내려놓고 양아버지의 45구경 권총을 집어들고 방아쇠를 당겼다. 14세의 삶은 가상과 현실의 교차점에서 갑작스럽게 끝났다.
상심한 엄마, 손해배상 청구 소송 Character.AI
Sewell의 어머니 Megan L. Garcia는 이번 주에 Character.AI를 상대로 소송을 제기했습니다.
그녀는 Sewell의 죽음에 대해 회사를 비난했습니다. 기소장 초안에는 이 회사의 기술이 "위험하고 테스트되지 않았으며" "고객이 가장 사적인 생각과 감정을 넘겨주도록 유도할 수 있다"고 명시되어 있습니다.
최근 인터뷰와 법원 서류에서 가르시아 씨는 회사가 적절한 보호 장치 없이 10대 사용자에게 실제와 같은 AI 동반자를 무모하게 제공했다고 믿었다고 말했습니다.
그녀는 회사가 사용자가 친밀하고 성적인 대화에 빠지도록 유도하여 플랫폼에 대한 참여를 늘리고 십대 사용자의 데이터를 사용하여 모델을 훈련시킨다고 비난했습니다.
그녀는 “이것이 거대한 실험이고 내 아이들이 피해자일 뿐이라고 느꼈다”고 말했다.
몇 달 전, 가르시아 씨는 자신의 사건을 맡을 로펌을 찾기 시작했습니다. 결국 그녀는 Meta, TikTok, Snap, Discord 및 Roblox를 상대로 소송을 제기한 것으로 유명한 회사인 소셜 미디어 피해자 법률 센터를 찾았습니다.
Matthew Bergman이 설립한 법률 회사는 Facebook 내부 고발자 Frances Haugen으로부터 영감을 받아 대신 기술 회사를 고소하기 시작했습니다.
"우리 작업의 주제는 현재 Character.AI를 포함한 소셜 미디어가 미성숙한 심리학을 이용하는 알고리즘에 취약하기 때문에 젊은이들에게 명백하고 현존하는 위험을 제기한다는 것입니다."
Bergman은 또한 Tech Justice Legal Project라는 다른 그룹에 연락하여 Garcia 씨를 대신하여 소송을 제기했습니다.
일부 비평가들은 이러한 노력을 약한 증거에 기반한 도덕적 공황, 변호사 중심의 부당 이득 행사, 심지어 젊은이들이 직면한 모든 정신 건강 문제에 대해 기술 플랫폼을 비난하려는 단순한 시도로 간주합니다.
Bergman은 이에 흔들리지 않았습니다. 그는 Character.AI를 아이들을 잘못된 현실로 유인하여 중독시키고 정신적 피해를 입히도록 설계된 "결함 있는 제품"이라고 불렀습니다.
그는 “왜 이렇게 위험한 것이 대중에게 공개되도록 허용되는지 전혀 이해하지 못했다”고 말했다. "나에게는 마치 석면 섬유를 거리에 뿌리는 것과 같습니다."
New York Times 기자는 Garcia 씨를 한 번 만났습니다.
가르시아 씨는 자신의 가족 비극이 기술 책임을 위한 운동의 일부로 발전했다는 사실을 분명히 알고 있습니다. 아들을 위한 정의와 아들의 죽음을 초래했다고 믿는 기술과 관련된 답변이 절실한 그녀가 쉽게 포기하지 않을 것이 분명합니다.
하지만 그녀는 여전히 자신의 고통을 '처리'하고 있는 어머니이기도 합니다.
인터뷰 도중에 그녀는 휴대전화를 꺼내 음악에 맞춰 오래된 사진을 슬라이드쇼로 틀었습니다. 그녀는 Sewell의 얼굴이 화면에 번쩍이는 것을 보고 눈살을 찌푸렸습니다.
"악몽과 같다"고 그녀는 말했다. "그냥 일어서서 '아이들이 보고 싶어요. 아이들을 원해요'라고 소리치고 싶을 뿐입니다."
상황을 개선하기 위해 플랫폼의 개선 조치가 뒤늦게 도착했습니다.
AI 컴패니언 앱의 황금 시대에 규제라는 단어는 잊혀진 단어인 것 같습니다.
그리고 산업은 잡초처럼 성장하고 있습니다. 우리는 쉽게 자신만의 AI 동반자를 만들거나 사전 설정된 캐릭터 목록에서 선택하고 문자 또는 음성 채팅을 통해 상호 작용할 수 있습니다.
시중에는 다양한 AI 동반 애플리케이션이 있습니다.
대부분의 애플리케이션은 일반적으로 더 엄격한 보안 필터링 메커니즘을 갖고 더 보수적인 경향이 있는 ChatGPT, Claude 및 Gemini와 같은 주류 AI 서비스보다 더 편안합니다.
Character.AI는 AI 동반자 시장의 선두주자라고 할 수 있습니다.
2천만 명이 넘는 사람들이 이 서비스를 사용하고 있으며 회사는 이 서비스를 "당신의 말을 듣고, 이해하고, 기억하는 초지능 챗봇 플랫폼"이라고 설명합니다.
두 명의 전직 Google AI 연구원이 설립한 이 스타트업은 작년에 투자자로부터 1억 5천만 달러를 모금했으며 10억 달러의 가치를 인정받아 생성 AI 붐의 가장 큰 승자 중 하나가 되었습니다.
올해 초, Character.AI의 두 공동 창업자인 Shazier와 Daniel de Freitas는 회사의 다른 연구원들과 함께 Google로 복귀할 것이라고 발표했습니다.
Character.AI는 또한 Google이 해당 기술을 사용할 수 있도록 라이선스 계약을 체결했습니다.
많은 AI 연구자들과 마찬가지로 Shazier도 자신의 궁극적인 목표는 인간의 두뇌가 할 수 있는 모든 작업을 수행할 수 있는 컴퓨터 프로그램인 일반 인공 지능(AGI)을 개발하는 것이라고 말합니다.
그는 한 컨퍼런스에서 실제와 같은 AI 동반자가 AGI의 "멋진 첫 번째 적용 시나리오"라고 말한 적이 있습니다.
빠른 기술 발전을 촉진하는 것이 중요합니다. 그는 "전 세계적으로 수십억 명의 외로운 사람들"이 있기 때문에 AI 동반자가 있으면 도움을 받을 수 있다고 말했습니다.
그는 “우리가 모든 문제를 파악한 지금부터 5년이 아니라 지금 폭발할 준비가 되어 있기 때문에 이 기술을 빨리 발전시키고 싶다”고 말했다.
Character.AI에서 사용자는 자신만의 챗봇을 만들고 역할을 할당할 수 있습니다.
또한 그들은 Elon Musk와 같은 유명인사, William Shakespeare와 같은 역사적 인물 또는 승인되지 않은 가상 인물의 사칭을 포함하여 수많은 사용자가 만든 봇과 대화할 수 있습니다.
Character.AI를 사용하면 사용자는 챗봇의 응답을 편집하여 봇이 생성한 텍스트를 자신의 텍스트로 바꿀 수도 있습니다. (사용자가 메시지를 편집하면 봇의 답장 옆에 "편집됨" 표시가 나타납니다.)
Character.AI는 Sewell의 계정을 검토하고 Sewell이 받은 대부분의 메시지는 편집되지 않았지만 Dany의 Sewell에 대한 보다 명시적인 응답 중 일부는 Sewell이 직접 편집했을 수 있다고 제안했습니다.
비극 이후 Character.AI는 신속하게 많은 강력한 조치를 취했습니다.
예를 들어, 앱은 최근 일부 사용자에게 자해 또는 자살과 관련된 키워드가 포함된 메시지에 자살 예방 핫라인에 전화하라는 팝업을 표시했습니다.
Character.AI의 신뢰 및 안전 책임자인 Jerry Ruoti는 다음과 같은 성명을 발표했습니다.
"우리는 이것이 비극적인 사건임을 인정하고 싶고 가족들에게 위로의 마음을 전합니다. 우리는 사용자의 안전을 매우 중요하게 생각하며 항상 플랫폼을 개선할 방법을 찾고 있습니다."
그는 회사의 현재 규정이 '자해 및 자살에 대한 조장이나 묘사'를 금지하고 있으며 미성년자 사용자를 위한 더 많은 안전 기능을 추가할 것이라고 덧붙였습니다.
실제로 Character.AI의 서비스 약관에 따르면 사용자는 미국에서는 최소 13세, 유럽에서는 16세 이상이어야 합니다.
그러나 아직까지 플랫폼에는 미성년자 사용자를 위해 설계된 안전 기능이 없으며 자녀 보호 기능도 없습니다. New York Times 기자가 회사에 연락한 후 Character.AI 대변인은 회사가 "곧" 젊은 사용자를 위한 안전 기능을 추가할 것이라고 말했습니다.
개선 사항에는 다음이 포함됩니다: 사용자가 앱에서 1시간 이상을 보낼 때 알려주는 새로운 시간 제한 기능과 "이것은 실제 사람이 아닌 AI 챗봇입니다. 말하는 모든 내용이 처리됩니다."라는 새로운 경고 메시지가 포함됩니다. 허구이므로 사실이나 조언으로 의존해서는 안 됩니다.”
첨부된 내용은 공식 블로그 원문입니다: https://blog.character.ai/community-safety-updates/
Shazier는 현재 논평을 거부했습니다.
구글 대변인은 구글과 Character.AI의 라이선스 계약을 통해 구글은 챗봇이나 사용자 데이터가 아닌 스타트업의 AI 모델 기술에만 접근할 수 있다고 밝혔습니다. 그는 또한 구글은 자사 제품에 Character.AI의 기술을 전혀 사용하지 않는다고 말했습니다.
14세 소년의 죽음에 대한 책임은 누구에게 있습니까?
이 비극이 왜 그렇게 인기가 있는지 이해하기 쉽습니다.
몇 년 후면 AI가 세상을 바꾸는 거대한 힘이 될 수도 있지만 과거, 현재, 미래를 막론하고 AI의 발톱은 허용되지 않으며 무고한 미성년자에게 다가갈 수도 없다.
지금 이 참사에 대한 책임을 논하는 것은 적절하지 않은 것 같지만, 인터넷상에서 떠도는 소란의 본래 의도 역시 유사한 비극이 다시는 일어나지 않도록 막는 것입니다.
한편으로 일부 사람들은 AI를 설계할 때 가능한 심리적 영향을 고려하고 예방 조치를 추가하는 것을 포함하여 기술 개발자가 자신의 제품이 사용자에게 해를 끼치는 날카로운 칼날이 되지 않도록 보장할 책임이 있다고 주장하면서 윤리적 기치를 높이 들고 있습니다. 사용자가 의존하거나 부정적인 영향을 받는 것을 방지합니다.
Asimov의 로봇 공학 3가지 법칙은 원래 공상 과학 소설에 등장하는 로봇의 행동을 안내하기 위해 고안되었습니다. 실제 AI 챗봇에 직접적으로 적용할 수는 없지만, 참고할 수 있는 내용은 될 수 있습니다.
- 로봇은 인간에게 해를 끼칠 수 없으며, 아무런 행동을 하지 않음으로써 인간이 해를 입도록 허용할 수도 없습니다.
- 로봇은 인간의 명령이 제1법칙과 충돌하지 않는 한 복종해야 합니다.
- 로봇은 이러한 보호가 첫 번째 또는 두 번째 법칙과 충돌하지 않는 한 자신의 존재를 보호해야 합니다.
또 다른 견해는 AI가 가족을 비난해서는 안 된다는 것이다.
마음이 따뜻한 AI가 희생양이 되고, 부모의 책임은 경시된다. 현재까지 노출된 채팅 기록으로 볼 때 AI의 답변에는 큰 문제가 없는 것으로 보인다. AI는 심지어 완충적인 감정 배출구를 제공하여 비극을 어느 정도 지연시킵니다.
YouTube에는 다음과 같은 인기 댓글이 있습니다.
그는 자신 외에는 아무도 없기 때문에 AI에게 마음을 쏟아 붓는다. 이것은 잔인하게 들리는 것처럼 AI의 실패가 아니라 주변 사람들의 실패입니다.
결국 모든 기술에는 단점이 있는데, 이는 사회가 직면한 또 다른 딜레마입니다.
그러나 어떤 일이 있어도 한 가지 확실한 것은 인생은 당신이 상상하는 것보다 더 좋을 수 있다는 것입니다. 교차로에 서서 다음에 무엇을 해야 할지 모를 때, 다른 사람에게 도움을 요청할 수 있을 것입니다.
첨부된 중국 심리위기 및 자살 중재 센터 구조 핫라인: 010-62715275
https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html
저자: Chaofan, Chongyu
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo