Google은 수요일 X(이전 Twitter)의 게시물을 통해 이제 SynthID를 사용해 보고 싶은 누구나 사용할 수 있다고 발표했습니다. AI 생성 콘텐츠 인증 시스템은 생성된 이미지, 영상, 텍스트에 눈에 띄지 않는 워터마크를 삽입해 해당 콘텐츠가 사람이 만든 것인지 기계가 만든 것인지 확인할 수 있도록 해준다.
"우리는 SynthID Text 워터마킹 도구를 오픈 소스화하고 있습니다."라고 회사는 썼습니다. “개발자와 기업이 무료로 사용할 수 있어 AI 생성 콘텐츠를 식별하는 데 도움이 될 것입니다.”
SynthID는 AI로 생성된 이미지, 오디오, 비디오를 워터마킹하는 수단으로 2023년에 데뷔했습니다 . 처음에는 Imagen에 통합되었으며 이후 회사는 지난 5월 I/O 2024에서 Gemini 챗봇에 통합을 발표했습니다 .
시스템은 인식할 수 없는 워터마크를 사용하여 생성 AI가 프롬프트를 이해하고 응답의 다음 단어를 예측하는 데 사용하는 기본 데이터 덩어리(단일 문자, 단어 또는 구문의 일부)인 토큰을 인코딩하여 작동합니다. 텍스트 생성 과정에서. 5월 DeepMind 블로그 에 따르면 "토큰 생성 가능성을 조정하여 생성 시점에 토큰 배포에 추가 정보를 도입"함으로써 이를 수행합니다.
워터마크가 있는 텍스트와 워터마크가 없는 텍스트에 대한 예상 점수 패턴에 대해 "조정된 확률 점수"와 함께 모델의 단어 선택을 비교함으로써 SynthID는 AI가 해당 문장을 작성했는지 여부를 감지할 수 있습니다.
SynthID가 여러 양식에 걸쳐 AI 생성 콘텐츠를 워터마킹하는 방법은 다음과 같습니다. ↓ pic.twitter.com/CVxgP3bnt2
— 구글 딥마인드(@GoogleDeepMind) 2024년 10월 23일
수요일에 Nature 에 발표된 연구 에 따르면 이 프로세스는 응답의 정확성, 품질 또는 속도에 영향을 미치지 않으며 쉽게 우회할 수도 없습니다. 쉽게 제거하고 지울 수 있는 표준 메타데이터와 달리 SynthID의 워터마크는 콘텐츠가 잘리거나 편집되거나 다른 방식으로 수정되더라도 남아 있는 것으로 알려졌습니다.
메릴랜드 대학의 부교수인 Soheil Feizi는 "AI 생성 텍스트에 신뢰할 수 있고 눈에 띄지 않는 워터마킹을 달성하는 것은 근본적으로 어려운 일입니다. 특히 사실적 질문이나 코드 생성 작업과 같이 [대규모 언어 모델] 출력이 거의 결정론적인 시나리오에서는 더욱 그렇습니다."라고 말했습니다. , MIT Technology Review 에 따르면 오픈 소스 특성으로 인해 "커뮤니티가 이러한 탐지기를 테스트하고 다양한 설정에서 견고성을 평가할 수 있어 이러한 기술의 한계를 더 잘 이해하는 데 도움이 됩니다."
그러나 시스템이 완벽하지는 않습니다. 변조에 강하지만 SynthID의 워터마크는 텍스트가 언어 번역 앱을 통해 실행되거나 크게 재작성된 경우 제거될 수 있습니다. 또한 짧은 텍스트 구절의 경우와 사실 진술을 기반으로 한 답변이 AI에 의해 생성되었는지 여부를 판단하는 데 있어 효율성이 떨어집니다. 예를 들어, “프랑스의 수도는 어디입니까?”라는 질문에 대한 정답은 단 하나뿐입니다. 그러면 인간과 AI 모두 그곳이 파리라고 말할 것입니다.
SynthID를 직접 사용해 보고 싶다면 Google의 업데이트된 Responsible GenAI Toolkit 의 일부로 Hugging Face 에서 다운로드할 수 있습니다.