Lei Jun의 AI 음성 해설 저주가 Douyin에서 입소문을 냈습니다. 나는 Deepfakes의 확산의 새로운 시대에 화가 났고 경계했습니다.

죄송해요, 7일간의 긴 휴가를 받았고, 6일 동안 레이준 목소리로 AI에게 혼났어요.

Lei Jun 자신은 무고하게 총에 맞았고 블로거들은 법을 위반했거나 이미 법을 위반할 위기에 처해 있었습니다. 네티즌들은 그 흥분을 잠시 지켜본 후 Xiaomi의 법무 부서로 돌아가서 깜짝 놀랐습니다. 그들의 손에는 40미터 길이의 마체테가 들려 있습니다.

음성 복제는 실제로 새로운 것은 아니지만 확산의 결과는 이제 막 나타나기 시작했습니다.

단순한 농담이 아닙니다. 이번에는 AI가 수익을 조금 돌파했습니다.

최근 Douyin과 Bilibili에 대한 '레이준의 저주' 영상이 많이 올라왔습니다. 실제로 네티즌들은 AI를 사용하여 레이준의 목소리를 복제했으며, 카피라이팅 루틴도 모두 세 가지 특징이 매우 유사합니다.

초반 그는 "안녕하세요 레이준입니다"라고 자신의 정체를 직접적으로 밝히며 자신의 정체를 밝혔다.

금기 사항이 없습니다. 농구, 마작, 게임이 어떻게 끝났는지 모르겠습니다. 그들은 모두 AI 레이 준의 입을 사용하여 불평하고 비판합니다. 욕설은 물론이고, 특정 대학에 수십억 달러를 투자하겠다고 욕설도 퍼붓기도 했다. 더 나아가 샤오미 휴대폰을 사용해 포르노 영화를 보는 등 허위 정보를 사용해 브랜드 이미지를 훼손하는 행위도 있습니다.

그는 부드러운 말투를 가지고 있지만 레이준 자신과는 달리 끊임없이 욕설을 퍼붓고, 나를 늙은이이자 짐승이라고 말하고, 남의 엄마들에게 인사도 하고, 샤오미 휴대폰을 원격으로 조종한다고 주장하며 루머와 협박까지 한다. Xiaomi Su7로 자폭하고 사람들을 공격합니다.

레이준의 반응을 가짜로 만들기 위해 AI를 사용하는 놀라운 아이디어를 가진 네티즌들도 있습니다. 이전 그림 스타일은 레이준이 말한 것처럼 사실을 명확히 하고 네티즌의 재능을 칭찬하며 모두가 구별하도록 주의하도록 요청하는 것입니다. 후반부 반전은 사진에서는 보기 힘든데, 계속 입에서 향긋한 향이 풍겨나와 사람들의 시선을 사로잡는다.

샤오미 su7 잠금 명령 웨이보 댓글란에서 네티즌들의 질문에 레이준 자신도 이미 AI의 장난을 당한 사실을 알고 있었고, 강렬한 감성색의 이모티콘 3개를 제시해 답했다.

샤오미 그룹 홍보부 총괄 왕화(Wang Hua)도 댓글 영역에서 네티즌들에게 답변하고 샤오미 법무팀에 이 문제를 알렸다.

레이준의 이미지는 늘 상대적으로 친근했고, 자신을 비웃는 것도 마다하지 않았다. 스테이션 B에 합류했을 때 그는 자신의 명곡인 'Are you OK'를 불렀고, 샤오미는 Are you OK 손으로 주변기기까지 출시하기도 했다. 이번에는 분명히 다릅니다.

농담을 하거나 너무 저속하거나 악의적인 말을 하는 것은 바람직하지 않습니다.

이들 영상은 자신이 AI임을 강조할 뿐만 아니라 레이준임을 명시하고 있으며, 사진에 실제 사진을 사용하고 있어 사실상 명예권, 초상권, 음성권 등을 침해할 위기에 처해 있다. AI 스테파니 선, 침해 여부가 더욱 명확해진다.

현재 도우인에서 '레이준 AI 더빙'을 검색하면 노골적인 욕설, 루머, 욕설은 줄었지만, 여전히 '레이준이 내 옆에 앉아 있다'는 스푸핑 콘텐츠가 일부 존재한다.

에너지를 교정하는 사람들도 있습니다. 로그인해야하는 문화 및 관광 계정은 "Lei Jun"이라는 이름으로 모든 사람이 Xiaomi su7을 운전하고 Xiaomi 휴대폰으로 사진을 찍도록 초대합니다. 레이 씨에게 광고비를 좀 주겠다고요?

AI 침해는 여전히 새로운 현상이지만 과거로부터 배워야 할 교훈도 있습니다.

올해 4월에는 국내 최초로 'AI 음성 침해 사건'에 대한 1심 판결이 내려져, 신원 확인을 전제로 자연인 목소리의 권익 보호 범위를 명확히 밝혔습니다. AI 생성 사운드에 액세스할 수 있습니다.

여기에 핵심 개념이 있습니다. 인식 가능성이란 무엇입니까? 이번 침해 사건은 소리의 활용에 더해 해당 분야의 일반 청취자가 인지할 수 있는지 여부라는 현실적인 기준도 언급했다.

레이준의 AI 더빙에도 이 기준이 적용되어야 합니다. 비록 많은 영상의 내용이 얼핏 보면 레이준의 스타일처럼 들리지 않지만 목소리는 실제로 레이준 자신과 비슷합니다.

한마디로 인터넷은 법 밖의 공간이 아니며, AI도 스카이넷의 힘에서 벗어날 수 없다는 것이다. 기술 중립성에 대해 이야기하지 마세요. 책임을 져야 하는 사람은 도구를 사용하는 사람입니다.

위조는 쉽지만 문제를 해결하는 방법을 생각해 보셨나요?

AI 레이쥔의 목소리가 대규모로 확산되는 것도 목소리 복제가 점점 쉬워지고 있다는 사실을 보여준다. 권리보호팀이 조치를 취했지만, 소셜미디어는 한동안 떠들썩했다.

AI 스테파니 선에게 노래를 요청했을 때와 달리, 다소 전문적이고 장비의 성능을 테스트한 SoVITS 트레이닝 모델이 필요했는데 이제는 누군가에게 말을 해달라고 하면 바로 생성이 가능하다. 거의 실시간으로 웹사이트에서

얼마 전, 라이브 스트리밍 선두업체인 쓰리 쉽(Three Sheep)은 아직 '월병문'에서 나오지 못하고 관이 확정된 뒤 '녹음문'에 빠졌다.

양 세 마리 임원으로 추정되는 녹취록 내용이 공개됐다. 내용은 한도를 낮춰 임원과 앵커가 다수 참여했지만, 경찰 조사 결과 음성 내용은 허위였으며 AI를 이용해 위조된 것으로 드러났다. 한동안 사람들은 AI가 술 취한 발언을 하고 법률 칼럼에까지 갈 수 있을 만큼 강력하다는 사실을 믿지 못했습니다.

믿기지 않으시면 간단히 음성 복제 웹사이트를 이용해 보시기 바랍니다. 이메일 주소를 등록하면 이용이 가능합니다. 레이준 AI 음성은 인기 있는 옵션 중 하나입니다.

생성된 효과는 소음, 삼키는 등의 결함이 있고 음질은 전화기 반대편에서 나오는 것과 비슷하지만 거의 실시간으로 생성되며 500 단어 이내에서 무료이며 톤과 억양이 비교적 자연스럽습니다. . 자전거에는 또 무엇이 필요합니까?

Ruilai 지능형 알고리즘 과학자인 Chen Peng 박사는 APPSO에 예전에는 성문 정보를 캡처하는 데 몇 분 또는 수십 분이 걸렸지만 이제는 대략 30분 또는 수십 초 안에 캡처할 수 있다고 말했습니다. 앞으로 몇 번 더 괴롭히는 전화를 받으면 저희 목소리가 유출될 수도 있습니다.

그러나 Guo Degang이 영어 크로스 토크를 말하고 Swift Swift가 중국어를 말할 수 있도록 하는 등 더 정확하게 복제하고 어조와 기타 말하기 스타일을 복사하려면 더 많은 코퍼스가 여전히 필요합니다.

그러나 말뭉치에 관해서는 유명인이 부족하지 않습니다. 해외에서도 AI 음성사기 사건이 발생해, 그 아이디어가 대통령을 겨냥한 적도 있다.

올해 초 뉴햄프셔 주민들은 바이든으로부터 자동 음성전화를 받고 주 예비선거에서 투표하지 말라는 지시를 받았다. 실제로 해당 음성은 선거를 방해할 목적으로 AI 도구인 일레븐랩스(ElevenLabs)를 이용해 위조됐다.

사건이 발생한 지 며칠 후 ElevenLabs는 개시자의 계정을 차단했습니다. 사용자는 Biden의 음성을 복제하는 데 20분도 채 안 걸리고 1달러도 걸리지 않았다고 인정했습니다.

ElevenLabs는 또한 사용자가 특정 유명인과 정치인의 목소리를 업로드하거나 복제하는 것을 금지하는 "No-Go Voices"를 포함하여 이에 대한 몇 가지 예방 조치를 취했습니다.

하지만 올해 3월 404미디어 기자는 업로드된 파일 시작 부분에 묵음 1분을 추가하는 것만으로도 규칙을 우회하고 트럼프와 바이든의 목소리를 복제하는 것이 가능하다는 사실을 발견했다.

마법을 사용하여 마법을 물리칠 수도 있지만 AI 감지 소프트웨어는 AI 생성 오디오에 문제가 있는 경우가 많습니다.

NPR 기자는 세 가지 탐지 소프트웨어를 테스트했는데 결과가 낙관적이지 않았습니다. 84개의 샘플이 제출되었으며 가장 성능이 좋은 소프트웨어는 3개 문항을 틀렸고 나머지 하나는 20개 문항을 틀렸고 다른 하나는 정확도가 약 50%에 불과했습니다. .

AI 레이준 음성 사건에는 또 다른 매우 흥미로운 현상이 있다. 일부 네티즌들은 온라인으로 법무 부서에 전화하는 것 외에도 플랫폼이 어떻게 이런 콘텐츠를 통제하지 않았음에도 인기를 끌 수 있느냐고 말했다.

지난 9월 중국 사이버공간관리국이 발행한 '인공지능이 생성한 합성 콘텐츠 라벨링 방법(의견 초안)'에서는 AI가 생성한 합성 콘텐츠에 명시적 라벨과 암시적 라벨을 추가해야 한다고 제안했다. 후자는 메타데이터에 추가됩니다.

그 중 콘텐츠를 전파하는 플랫폼은 어떤 책임을 져야 할까요?

첫 번째는 메타데이터에 암시적 식별자가 있는지 확인하고, 그렇다면 눈에 띄는 알림을 추가해야 합니다. 두 번째는 암시적 식별자가 확인되지 않았지만 사용자가 AI 콘텐츠라고 선언하면 알림도 추가해야 합니다. 세 번째는 암시적 식별자가 없다는 것입니다. 또한 사용자는 플랫폼이 AI의 흔적을 감지했으며 알림을 추가해야 한다고 선언하지 않았습니다.

이 희극은 예시입니다. 사용자가 자체 선언을 하지 않았고 플랫폼의 탐지가 제대로 이루어지지 않았습니다. 일부 영상에는 "AI 생성 기술이 사용되는 것으로 의심됩니다. 신중하게 검사해 주세요"라는 알림이 있었습니다. 일부는 감지되지 않았습니다.

올해 초 AI가 테일러 스위프트의 음란물을 위조한 사건은 연예인들이 AI로 인해 피해를 입는 대표적인 사건으로, 이에 대한 구제 조치도 지체됐다.

사진 중 하나는 X에 17시간 동안 남아 있었고 삭제되기 전까지 4,700만 번 조회되었습니다.

X, 인스타그램 등 소셜미디어에서는 사진 삭제는 물론이고 한때 스위프트 검색을 허용하지 않거나 검색 시 경고를 표시하기도 했다. 팬들은 쇠가 강철이 될 수 없다는 사실을 싫어해 자발적으로 '광장을 학살'하고, 아이돌을 보호하기 위해 실제 사진을 활용한다.

최근 몇 달간 한국의 N룸 2.0으로 알려진 대규모 딥페이크 사건이 유명세를 탔다.

좋은 소식은 우리나라가 10월 10일 ‘성폭력범죄의 처벌에 관한 특례법’ 개정안을 통과시켰다는 것이다.

딥페이크 음란물을 소지, 구매, 저장, 시청하는 사람은 최대 3년의 징역형이나 3천만원(약 RMB 157,500)의 벌금형을 받을 수 있습니다.

딥페이크 음란영상 편집·유포에 대한 형량도 종전 5년 이하 징역에서 7년 이하 징역으로 상향됐다.

최종 소비 과정에만 참여해도 법의 처벌을 받게 된다. 시대에 따른 법의 진보는 당연히 박수를 치지만, AI 기술이 널리 사용될수록 막기는 어렵다는 것이 무기력한 사실이다. 남용.

다운 재킷을 입고 Midjourney를 사용하여 생성된 "패션 교황"은 사진과 사실을 과거의 것으로 만들었습니다. 사운드, 비디오, 장면도 마찬가지입니다.

생각하기 가장 무서운 것은 기술이 계속 발전함에 따라 AI가 특정 생물학적 특성을 가진 개인을 현실에 점점 더 가깝게 '재현'할 수 있다는 것입니다.

얼굴과 개인정보가 유출됩니다. 동시에, 그림 스타일과 사운드, 한때 문턱이 있었던 이러한 독특해 보이는 사물과 기술도 AI에 의해 모방되어 일반 사람들을 속이기에 충분합니다.

오늘날 우리는 기술적, 법적 수단을 사용하는 것 외에도 도덕적 합의가 필요한지 고려해야 할 수도 있습니다. 군자는 할 일이 있고 하지 말아야 할 일이 있습니다. 다른 사람이 당신에게 하기를 원하지 않는 일을 다른 사람에게 하지 마십시오.

온라인에 접속할 때 모든 것이 사실이라고 가정하지 않는 것이 가장 좋습니다. 선을 넘는 선동자가 되는 것은 말할 것도 없습니다. 우리는 해안에서 물만 바라보고 있는 것이 아니라, 위의 작은 배이기도 합니다.

# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.

Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo