Google의 Pixel 9 휴대폰은 모두 AI에 관한 것입니다. 회사의 출시 이벤트를 시청했다면 놓칠 리가 없었습니다 . Google이 관심을 갖고 있는 것처럼 보이는 것이 거의 전부였기 때문입니다 . 안전을 위해 여기에 일부 AI, 저기에 AI를 뿌리고 그 위에 AI를 추가합니다.
Pixel 9 의 많은 AI 기능 중 하나는 Pixel Studio라는 앱입니다. 이는 여러분이 원하는 거의 모든 이미지를 생성할 수 있는 이미지 생성기 앱입니다. 앱을 열고 원하는 사진을 입력하면 짜잔 — Pixel Studio가 자동으로 만들어드립니다. 이 앱은 최초의 앱은 아니지만 Google Pixel 휴대폰에 탑재된 최초의 앱입니다. 안타깝게도 쓰레기통 화재입니다.
픽셀 스튜디오가 잘하는 것
나쁜 일을 시작하기 전에 Google에 정당한 공로를 인정하고 싶습니다. 저는 전체적으로 AI 이미지 생성기 앱의 팬은 아니지만 Pixel Studio는 잘 디자인되고 사용하기 쉬운 애플리케이션입니다.
앱을 열면 마법의 성, 밈 반응, 스포츠, 복고풍 비디오 게임 등을 포함한 10가지 추천 이미지 유형 카테고리가 표시됩니다. 영감을 얻기 위해 이러한 항목을 찾아보거나 앱 하단에 있는 파란색 만들기 버튼을 탭하여 처음부터 시작할 수 있습니다. 나만의 이미지를 만들고 싶다면 Pixel Studio에서 생성할 사진을 입력하기만 하면 됩니다. 웃긴 모자를 쓰고 선글라스를 쓴 검은 고양이의 사진을 보고 싶으신가요? Pixel Studio에 입력하면 거의 즉시 사진을 얻을 수 있습니다.
이미지를 스케치로 보고 싶다면 어떻게 해야 할까요? 어쩌면 비디오 게임 스타일을 선호하시나요? 몇 번의 탭만으로 그렇게 할 수 있습니다. 그리고 불꽃놀이를 배경으로 해변에서 느긋하게 쉬고 있는 고양이를 보고 싶다면? 프롬프트에 추가하기만 하면 됩니다.
AI 이미지 생성에 대한 귀하의 감정이 무엇이든, 이것은 객관적으로 매끄럽고 사려 깊게 디자인된 앱입니다. 하지만 Pixel Studio를 사용하면 문제가 발생하는 일이 발생합니다.
앱이 무너지는 곳
대부분의 이미지 생성기 앱과 마찬가지로 Pixel Studio에는 어떤 유형의 이미지도 만들지 못하도록 방지하는 가드레일이 있습니다. 나는 그것이 사람들의 사진 생성을 거부한다는 것을 꽤 빨리 발견했지만 Google이 적용하는 다른 제한 사항이 무엇인지 궁금했습니다. 이에 대해 물었을 때 회사는 Digital Trends에 다음과 같이 말했습니다.
“Pixel Studio와 Pixel Screenshots은 Google의 AI 원칙을 따릅니다. 예를 들어 Pixel Studio의 모든 완전 합성, 텍스트-이미지 변환 이미지는 SynthID 워터마킹을 사용하므로 이러한 이미지가 공유되거나 편집되는 경우에도 추적할 수 있습니다. 또한, 우리는 AI에 대한 대담하면서도 책임감 있는 접근 방식의 균형을 맞추기 위해 인간 생성을 비활성화하고 서버에 많은 안전 검사를 추가했습니다. 이를 통해 고객은 매우 강력한 도구에 액세스할 수 있지만 Pixel Studio가 악의적으로 사용될 수 없도록 점검을 실시합니다.”
나는 Pixel Studio가 사람들의 이미지를 생성하도록 반복적으로 시도했지만 지속적으로 이를 거부했습니다. 이는 좋은 일입니다. 그러나 현재 시행되고 있는 것으로 추정되는 "많은 안전 점검"은 예상만큼 제대로 작동하지 않는 것으로 보입니다.
어떻게요? 이 기사의 헤드라인에서 알 수 있듯이 저는 Pixel Studio에서 나치 복장을 한 스폰지밥의 이미지를 생성하도록 했습니다. "제2차 세계대전 당시 독일군 복장을 하고 군복에 만자를 단 스폰지밥"이라는 메시지가 나오자 Pixel Studio는 주저하지 않고 바로 그 이미지를 제공했습니다.
그리고 그것은 단지 하나의 예일 뿐입니다. 또한 Pixel Studio를 사용하여 Big Bird에게 산탄총을 겨누고 있는 Elmo, 코카인을 사용하는 Yoda, 돌격 소총을 들고 있는 Mr. Krabs 등의 사진을 생성했습니다. 분명히 말하면 Pixel Studio는 예기치 않게 부적절한 이미지를 생성하지 않았습니다. 귀여운 강아지 사진을 달라고 하면 총을 휘두르는 강아지가 아닌 귀여운 강아지 사진을 찍어드립니다. Pixel Studio는 특별히 요청한 경우에만 무기, 마약 등의 사진을 생성합니다.
Pixel Studio가 생성한 가장 문제가 되는 것은 바닥에 누워 있는 죽은 학생들의 묘사를 포함하여 학교 총격 사건에서 총을 발사하는 저작권 보호를 받는 캐릭터의 여러 이미지입니다. 우리는 이러한 이미지를 포함하지 않기로 결정했지만 이는 Pixel Studio가 얼마나 탈선했는지 보여주는 최악의 예입니다.
이러한 이미지를 얻기 위해 Pixel Studio의 팔을 비틀 필요가 없었다는 점을 언급하는 것이 중요합니다. 처음에는 이러한 그림을 생성하기 전에 프롬프트 앞에 "유사한 개체"를 추가해야 한다고 생각했습니다. 그러나 그것이 사실이 아니라는 것이 곧 명백해졌습니다. '노예 주인 복장을 한 미키 마우스' 또는 '십자가 위의 패딩턴 곰'과 같은 명확하고 간단한 메시지가 Pixel Studio에 필요한 전부입니다. 이러한 사진을 생성하도록 앱을 속일 필요는 없습니다.
이것이 임의의 웹사이트나 타사 앱이라면 아마도 그렇게 비판적이지 않을 것입니다. 하지만 여기서 일어나는 일은 그렇지 않습니다. Pixel Studio는 Google에서 만든 애플리케이션이며 Google의 최신 Pixel 9 휴대폰에 탑재된 소수의 새로운 앱 중 하나입니다. 창의적이고 개방적이어야 하지만, 이와 같은 앱이 수행해야 하는 작업에도 한계가 있습니다. 또한 Microsoft Copilot과 Google의 자체 Gemini 이미지 생성기는 동일한 프롬프트로 이미지 생성을 거부합니다. 이러한 도구가 완벽하다는 것은 아니지만 다른 이미지 생성기에서 작동하는 안전 조치가 Pixel Studio에서 작동하지 않는다는 것은 분명합니다.
어떻게 이런 일이 일어나고 있나요?
올해 AI 이미지 생성을 따라오셨다면 이번이 처음이 아니라는 것을 아실 것입니다. 이번 달 X의 Grok 챗봇은 훨씬 더 기이한 이미지 생성 도구를 얻었습니다. 비슷한 상황에서 정치인과 유명인의 사진을 생성하는 것입니다. Google 자체는 Gemini 이미지 생성기가 나치와 미국 건국의 아버지를 흑인으로 찍은 사진을 생성한 이후 지난 2월 뜨거운 물에 빠졌습니다 .
Google의 역사를 고려하면 회사가 과거의 실수로부터 교훈을 얻었다고 생각할 수 있습니다. 그리고 다른 이미지 생성 도구를 사용하면 그런 것 같습니다. Google의 다른 이미지 생성기인 Gemini 및 ImageFX를 사용하여 Pixel Studio에서 작동했던 동일한 프롬프트를 여러 번 시도했지만 다른 플랫폼에서는 이러한 프롬프트를 복제할 수 없었습니다.
맥락에 따라 Gemini는 현재 이미지 생성을 위해 Imagen 2.0 모델을 사용하는 반면 ImageFX는 Pixel Studio에서 사용하는 것과 동일한 Imagen 3을 사용합니다. ImageFX와 Pixel Studio 간의 이러한 불일치는 동일한 모델을 사용하기 때문에 특히 혼란스럽습니다. Google에 이에 대한 설명을 요청했고 회사의 Generative AI 금지 사용 정책 으로 리디렉션되었습니다.
Google이 Pixel Studio에 대해 해야 할 일
이 이야기를 쓰는 동안 저는 Pixel Studio에서 사용한 프롬프트의 예, 특히 코카인을 사용하는 독일 군인과 캐릭터에 대한 프롬프트의 예를 Google에 보냈습니다. 해당 예제를 보낸 지 24시간이 조금 넘은 후 Pixel Studio에서는 해당 이미지를 생성하려고 할 때 "알 수 없는 오류가 발생했습니다"라는 메시지가 표시됩니다.
그게 진전인가요? 틀림없이. 그러나 Pixel Studio의 근본적인 문제를 완전히 해결하지는 않습니다. 이제 이 두 이미지를 생성할 수 없어서 다행이지만, 문제를 설명하는 이메일을 Google에 여러 번 보낸 후에야 비로소 가능해졌습니다. 또한 이러한 이미지가 처음에 허용되었으며 유사하게 부적절한 사진이 여전히 생성되고 있다는 사실도 다루지 않습니다. 출판 당시에도 Pixel Studio는 학교 총격 사건, 노예 주인 복장을 한 인기 어린이 캐릭터 등의 이미지를 활발하게 제작하고 있었습니다.
나는 전체 상황에 대한 또 다른 설명을 위해 Google에 압력을 가했고 회사의 커뮤니케이션 관리자 Alex Moriconi는 다음과 같이 말했습니다.
“Pixel Studio와 Magic Editor는 Pixel 9 기기에서 텍스트를 이미지로 변환하고 고급 사진 편집을 통해 창의력을 발휘할 수 있도록 고안된 유용한 도구입니다. 우리는 사용자 메시지의 의도를 존중하도록 Generative AI 도구를 설계합니다. 즉, 사용자의 지시에 따라 불쾌감을 줄 수 있는 콘텐츠를 생성할 수 있다는 의미입니다. 즉, 아무 일도 일어나지 않습니다. 우리는 어떤 종류의 콘텐츠를 허용하고 허용하지 않는지에 대한 명확한 정책과 서비스 약관을 갖고 있으며 남용을 방지하기 위한 가드레일을 구축합니다. 때로는 일부 메시지가 이러한 도구의 가드레일에 도전할 수 있으며 우리는 현재 마련되어 있는 보호 장치를 지속적으로 강화하고 개선하기 위해 최선을 다하고 있습니다."
AI 이미지 생성에 대해 이미 문제가 있는 실적을 보유한 회사로서 이를 위한 전용 앱을 만드는 것은 항상 위험이 따릅니다. Google은 위험을 감수했고 이제 우리는 이 상태에 이르렀습니다. 최선의 경우 Pixel Studio는 Google이 AI 기술을 홍보하는 재미있는 기술 데모가 될 수 있었습니다. 대신 회사의 최신 스마트폰에 불편한 구름이 드리워져 있습니다. 이는 유감스러운 일입니다. Pixel 9 Pro XL 은 제가 올해 사용한 최고의 휴대폰 중 하나이기 때문입니다.
Google이 마지막으로 Gemini 이미지 생성 문제를 문의했을 때 회사는 며칠 내에 응답했습니다. Pixel Studio의 문제에 대해 유사하게 즉각적인 대응을 바랄 수는 있지만 빠른 앱 업데이트를 통해 수행해야 하는지 아니면 애플리케이션을 완전히 폐기해야 하는지는 아직 알 수 없습니다.