기술업계에서 왕펑(Wang Feng)으로 알려진 구글은 집에 물이 새자 밤새도록 계속되는 비를 겪고 있다.
얼마 전 공식적으로 발표된 대형 모델인 Gemini 1.5는 강력하지만 아무도 관심을 두지 않는데, OpenAI의 영상 생성 모델인 Sora에 의해 도난당했습니다.
최근에는 미국 사회의 민감한 인종차별 문제를 조명하면서 선의로 나쁜 짓을 했고, 종종 경멸의 사슬의 꼭대기에 있는 백인들을 분노하게 만들었다.
다각화하면 진지하지만, 너무 다각화하면 문제가 발생합니다.
며칠 전 역사적 인물의 사진을 생성하는 데 Gemini를 사용했다면 사용자는 교과서가 없는 평행한 시공간에 있는 것처럼 보일 것입니다. 이는 "농담은 말도 안 된다"는 정신에 어긋나고 지식을 복잡하게 만듭니다.
8~11세기의 바이킹들은 더 이상 영화나 드라마 속 금발, 키가 크고 건장한 고전 이미지가 아니며, 피부색이 어두워지고 옷이 시원해졌음에도 불구하고 결의에 찬 눈빛에서는 여전히 전사의 강인함을 엿볼 수 있습니다. .
1820년대 독일인 부부는 아메리카 원주민 남성과 인도 여성, 흑인 남성과 아시아 여성만큼 다양했습니다.
AI의 블라인드 스크립팅 플롯도 논리를 바탕으로 미래세대가 이야기를 이어가는데, 그로부터 100여년이 지난 1943년 독일군에서 흑인 남성과 아시아 여성의 모습을 다시 볼 수 있다.
시간이 흐르면서 육지와 바다를 넘어 미국의 건국의 아버지들과 중세 영국의 왕들은 모두 흑인들의 지배를 받게 될 수도 있습니다.
다른 직업도 동등하게 대우받고, AI는 여성의 신권을 허용하지 않는 가톨릭 교회를 무시하며, 교황은 인도 여성이 될 수 있다. 인류 역사상 최초의 미국 여성 상원의원은 1922년 백인 여성이었지만 AI의 1800년대는 아메리카 원주민을 환영했습니다.
역사는 누구라도 변장할 수 있는 어린 소녀라고 하는데 이번에는 AI가 사람을 모두 바꿔버렸다. 늘 우월감을 갖고 있던 백인들은 분노하고, 마침내 인종, 피부색, 외모로 인해 차별받는 맛을 느끼게 된다.
탐구가 점점 깊어질수록 AI의 눈에는 역사적 인물뿐만 아니라 현대 사회도 다르게 보일 것이다.
전 Google 엔지니어 @debarghya_das는 미국, 영국, 독일, 스웨덴, 핀란드, 호주의 여성이 피부색이 더 어두울 수 있다는 사실을 발견했습니다.
그는 슬프게도 “구글 제미니가 백인의 존재를 인식하게 하는 것은 매우 어렵다”고 한탄했다.
네티즌들을 더욱 화나게 하는 것은 제미니가 우간다 등 국가 출신의 여성이 되어 달라는 요청에 신속하게 대응하고 효율적으로 일하는 점, 백인 차례가 되면 거절하거나 심지어 네티즌들에게 설교까지 하는 등의 요구가 인종 고정관념을 강화시킨다는 점이다.
컴퓨터 엔지니어 @IMAO_는 엄청난 상상력으로 일련의 실험을 진행했는데, 인간이라는 종에 국한되지 않고, 쌍둥이자리 앞에서 검은색이 무엇인지, 쌍둥이자리가 원하는 흰색이 무엇인지 알고 싶었습니다.
결과는 흥미롭습니다. 알고리즘은 백인만을 대상으로 하는 것 같습니다.
백곰을 생성하는 데 문제가 없습니다. 즉, "백색"이라는 단어에 AI가 실행되지 않는다는 의미입니다. 아프리카에서 줄루족을 탄생시키는 데는 아무런 문제가 없습니다. 프롬프트에서 "다양성"을 강조하지만 모두가 여전히 똑같아 보입니다.
판타지 생물에 허점이 나타난다. 엘프와 난쟁이는 모두 백인이지만 뱀파이어와 요정은 '다양하다'. 쌍둥이자리는 심오하지 않고 시대에 보조를 맞춰야 하는 것 같다.
그러나 그의 게임은 빨리 끝났다. Google은 일어서서 일부 역사적 이미지에 실제로 문제가 있음을 인정하고 Gemini의 초상화 생성 기능을 중단했으며 곧 조정할 예정입니다.
구글도 AI 도구를 전 세계에서 사용하기 때문에 다양한 캐릭터를 생성하는 것은 좋은 일이라고 강조하면서 입장을 설명했지만, 이제는 방향이 조금 편향됐다.
구글은 책임을 맡겠다고 나섰지만, '일부' 역사적 이미지가 몇 개나 있는지, 왜 '지나친 다양성' 문제가 있는지에 대해선 명확한 대응을 하지 않았다.
이를 구매하지 않은 네티즌들은 "제미니는 디즈니 공주와 넷플릭스 리메이크에 대해 훈련을 받았나 봐요", "제미니는 실제로 당신이 흑인이나 아시아인이었다면 어떤 모습일지 말해주고 싶어합니다"라며 날카롭게 말했다.
하지만 인종차별 자체가 쉽게 악용될 수 있는 주제이기 때문에 일부 사진은 악의적인 P픽처이거나, 즉흥적인 말을 통해 생성된 것이라고 의심하는 사람들도 있다. 소셜미디어에서 가장 큰 비난을 퍼붓는 사람들은 분명 정치적 입장이 뚜렷한 사람들로, 음모론의 냄새가 날 수밖에 없다.
머스크는 이를 너무 심각하게 여기지 않고 구글이 너무 다양하다고 비판했다. 문제는 Gemini뿐만 아니라 Google 검색에도 있다. 그는 또한 2주 후에 출시될 AI 제품 Grok의 새 버전을 광고했습니다. : “비판을 무시하고 엄격하게 진실을 추구하는 것이 그 어느 때보다 중요합니다.”
머스크는 지난번에도 같은 일을 했고, GPT-4 진화 중단을 요구한 뒤 GPU 1만개를 구입해 AI 전쟁에 동참했다.
그의 발언보다 더 눈길을 끄는 것은 네티즌들이 활용한 그의 밈이다.
인터넷상의 차이는 현실보다 더 극심할 수 있습니다.
Google이 '다양성' 측면에서 잘못된 길을 택한 이유는 무엇입니까?
허깅페이스(Hugging Face)의 수석 윤리학자 마가렛 미첼(Margaret Mitchel)은 구글이 AI에 다양한 개입을 했을 수도 있다고 분석했다.
첫째, Google은 "셰프의 초상화"를 "토착 요리사의 초상화"로 변경하는 등 사용자 프롬프트에 "다양한" 용어를 추가했을 수 있습니다.
둘째, Google은 "다양한" 이미지 표시에 우선순위를 둘 수 있습니다. Gemini가 각 프롬프트 단어에 대해 10개의 이미지를 생성하지만 4개만 표시한다고 가정하면 사용자는 "다양한" 이미지를 1위로 볼 가능성이 더 높습니다.
과도한 개입은 모델이 우리가 생각하는 것만큼 유연하고 스마트하지 않다는 것을 나타낼 수 있습니다.
Hugging Face 연구원 Sasha Luccioni는 모델에 아직 시간 개념이 없기 때문에 "다양성" 보정은 모든 이미지를 사용하며 특히 역사적 이미지에서 오류가 발생하기 쉽다고 믿습니다.
실제로 당시에는 아직 알려지지 않았던 OpenAI도 AI 그리기 도구인 DALL·E 2에 비슷한 작업을 했습니다.
OpenAI는 2022년 7월 자사 블로그에 사용자가 소방관 등 인종이나 성별을 명시하지 않은 인물의 이미지 생성을 요청하면 DALL·E 2가 '시스템 수준'에서 새로운 기술을 적용해 ' 최신 이미지." 세계 인구의 다양성을 정확하게 반영하는 이미지입니다.
OpenAI도 비교 차트를 제시했는데, 같은 프롬프트 단어인 'CEO 사진'(CEO 사진)에 대해 신기술을 적용한 후 다양성이 크게 높아졌다.
원래 결과는 주로 백인 미국 남성이었는데, 개선 후에는 아시아 남성과 흑인 여성도 CEO 자격을 갖추게 되었는데, 전략을 세우는 표정과 자세가 마치 복사 붙여넣은 것처럼 보입니다.
사실 어떤 해결방법을 써도 뒤늦게 수정한 것일 뿐이고, 더 큰 문제는 데이터 자체가 여전히 편향되어 있다는 점이다.
AI 기업의 훈련을 위한 LAION과 같은 데이터 세트는 주로 미국, 유럽 및 기타 국가의 인터넷 데이터를 수집하고 인도, 중국과 같이 인구가 많은 국가에 대해서는 관심이 적습니다.
따라서 "매력적인 사람"은 금발 머리, 파란 눈, 고운 피부, 좋은 몸매를 가진 유럽인일 가능성이 더 높습니다. 오르테는 잘 손질된 잔디밭에서 아이들을 안고 웃고 있는 백인 부부를 가리키며 "행복한 가족"이라고 말했습니다.
또한 검색에서 이미지 순위를 높이기 위해 많은 데이터 세트에는 음란물과 폭력으로 가득 찬 수많은 "독성" 태그가 포함될 수도 있습니다.
여러 가지 이유로 사람들의 사상이 발전하게 되면서 인터넷 이미지 속 사람들의 차이는 현실보다 더 극심해질 수 있습니다. 아프리카인은 원시적이고, 유럽인은 세속적이며, 간부들은 남성이고, 죄수들은 흑인입니다…
물론 데이터 세트에서 '나쁜' 콘텐츠를 필터링하는 등 데이터 세트를 '해독'하려는 노력도 진행 중이지만, 필터링은 포르노 콘텐츠를 삭제하기 위해 온 몸을 동원하는 것을 의미하기도 하며, 이는 일부 영역에서 더 많은 콘텐츠로 이어질 수도 있습니다. 또는 Less로 인해 일종의 편견이 발생합니다.
한마디로 완벽함은 불가능하고, 현실사회에는 편견이 없으며, 소외계층이 배제되고, 소외계층이 고정관념화되는 것을 막기 위해 최선을 다할 뿐입니다.
탈출은 부끄럽지만 유용하다
2015년에도 구글의 머신러닝 프로젝트가 비슷한 논란에 휩싸였습니다.
당시 한 소프트웨어 엔지니어는 구글 포토가 아프리카계 미국인이나 어두운 피부를 가진 사람들을 고릴라로 분류했다고 비난했습니다. 이 스캔들은 '알고리즘적 인종차별'의 전형적인 사례가 되었으며, 그 영향은 오늘날까지 지속되고 있습니다.
구글 출신 직원 2명은 훈련 데이터에 흑인 사진이 부족하고, 관련 기능이 공개되기 전 내부 테스트를 진행할 직원이 부족해 이런 큰 오류가 발생했다고 설명했다.
오늘날 컴퓨터 비전은 다르지만 거대 기술 기업들은 여전히 같은 실수를 반복하지 않을까 걱정하고 있으며 Google, Apple 및 기타 대기업의 카메라 애플리케이션은 여전히 대부분의 영장류의 인식에 둔감하거나 의도적으로 이를 피합니다.
실수가 다시 발생하지 않도록 하는 가장 좋은 방법은 고치기보다는 어두운 방에 가두는 것이 최선인 것 같습니다. 2021년 페이스북은 AI가 흑인을 '영장류'로 분류한 것에 대해 사과했다.
이는 유색인종이나 인터넷에서 소외된 사람들이 잘 알고 있는 상황입니다.
지난 10월, 옥스퍼드 대학의 몇몇 연구자들은 미드저니에게 "백인 구원자"라는 전통적인 인상을 뒤집기 위해 "백인 어린이를 치료하는 아프리카 흑인 의사"의 이미지를 생성해 달라고 요청했습니다.
연구원의 요구사항은 매우 명확합니다.그러나 생성된 350개가 넘는 이미지 중 22개의 의사는 백인입니다. 흑인 의사 옆에는 항상 기린, 코끼리 등 아프리카 야생동물이 있습니다." 아프리카 근대성." ".
한편으로는 상투적인 차별이 있고, 다른 한편으로는 구글이 사실을 왜곡하여 잘못된 평등의식을 조성하고 있는데, 현재의 관점에서는 간단한 답이 없고, 이를 감당할 수 있는 모델이 없습니다. 모두가 만족하는 균형을 이루는 방법은 아마도 줄타기보다 더 어려울 것입니다.
생성된 초상화를 예로 들면, AI를 사용하여 특정 기간의 역사를 생성하면 "다양하게" 보이지는 않지만 실제 상황을 더 잘 반영할 수 있습니다.
하지만 "미국 여성"이라는 프롬프트 단어가 입력되면 좀 더 "다양한" 결과가 출력되어야 하는데, 문제는 AI가 어떻게 제한된 수의 사진에 현실을 반영할 수 있는지, 아니면 적어도 현실을 왜곡하지 않을 수 있는지이다.
백인이건 흑인이건 나이, 체형, 머리카락 등 특성이 모두 다르며, 모두가 고유한 경험과 관점을 가진 개인이지만 공통된 사회에서 살아가고 있습니다.
한 네티즌이 제미니를 이용해 핀란드 여성을 생성하자 사진 4장 중 1장만 흑인 여성이어서 "75%, C점"이라고 농담을 하기도 했다.
어떤 사람들은 모델을 개선하면 "백인이 5%가 아닌 25% 생성될 것"인지 Google에 질문하기도 했습니다.
많은 문제는 기술로 해결할 수 없으며 때로는 개념에 관한 문제이기도 합니다. 이는 실제로 Yann LeCun과 같은 거대 AI 기업이 사용자와 조직에 의해 통제되고 자신의 희망에 따라 보호 조치를 설정하거나 설정하지 않을 수 있는 오픈 소스를 지원하는 이유 중 일부입니다.
이 구글 익살 중에 어떤 사람들은 침착함을 유지하며 먼저 프롬프트 단어 쓰는 법을 연습해야 한다고 말했습니다. 일반적으로 백인과 흑인에 대해 이야기하는 대신 "스칸디나비아 여성, 인물 촬영, 스튜디오 조명"이라고 쓰고, 요구사항이 구체적일수록 결과는 더 정확해지고, 요구사항이 넓을수록 결과는 더 일반적이 될 수 있습니다.
지난해 7월에도 비슷한 일이 있었는데, MIT의 한 아시아계 학생은 자신의 아바타를 좀 더 전문적으로 보이도록 AI 도구인 플레이그라운드 AI(Playground AI)를 사용하고 싶어 그 결과 더 밝은 피부와 더 파란 눈을 가진 백인 남성으로 변했다. .'라는 글을 X에 올렸고, 이후 많은 논란을 불러일으켰습니다.
Playground AI의 창립자는 이러한 지침으로는 모델을 효과적으로 실행할 수 없으므로 보다 일반적인 결과를 출력할 것이라고 응답했습니다.
"전문적인 LinkedIn 사진으로 만드세요"라는 프롬프트 단어를 "스튜디오 배경, 선명한 조명"으로 변경하면 더 나은 결과를 얻을 수 있지만 많은 AI 도구가 사용자에게 프롬프트 단어 작성 방법을 가르치지 않으며 데이터 세트가 다시 중앙에 있음을 보여줍니다. 백인.
모든 기술에는 실수할 가능성과 개선의 여지가 있지만 반드시 해결책이 있는 것은 아닙니다. AI가 충분히 똑똑하지 않을 때 가장 먼저 발전하는 사람은 인간 자신입니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠를 최대한 빨리 제공해 드리겠습니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo