OpenAI가 GPT-4 의 글쓰기 출력을 99.99%의 정확도로 감지할 수 있는 도구를 개발했기 때문에 ChatGPT 표절자는 조심하세요. 그러나 회사는 실제로 이를 대중에게 공개할지 여부를 두고 1년 넘게 고민을 해왔다 .
TechCrunch 에 따르면 이 회사는 "OpenAI를 넘어서는 더 넓은 생태계에 미칠 수 있는 영향과 관련된 복잡성" 때문에 "의도적인 접근 방식"을 취하고 있는 것으로 알려졌습니다. OpenAI 대변인은 "우리가 개발 중인 텍스트 워터마킹 방법은 기술적으로 유망하지만 나쁜 행위자의 우회에 대한 민감성과 비영어권 사용자와 같은 그룹에 불균형적으로 영향을 미칠 가능성을 포함하여 대안을 연구하는 동안 우리가 평가하고 있는 중요한 위험을 안고 있습니다."라고 말했습니다. 말했다.
텍스트 워터마킹 시스템은 OpenAI 도구에서는 감지할 수 있지만 최종 사용자에게는 보이지 않는 특정 패턴을 모델의 서면 출력에 통합하여 작동합니다. 이 도구는 자체 GPT-4 엔진에서 생성된 글을 안정적으로 찾아낼 수 있지만 Gemini 또는 Claude와 같은 다른 모델의 출력은 감지할 수 없습니다. 또한 Google 번역을 통해 텍스트 출력을 실행하고 이를 다른 언어로 전환한 다음 다시 되돌리면 워터마크 자체를 제거할 수 있습니다.
OpenAI가 텍스트 감지 도구를 구축하려는 첫 번째 시도는 아닙니다. 작년에는 도구의 미미한 탐지율과 오탐 성향으로 인해 개발 중인 유사한 텍스트 탐지기를 조용히 중단했습니다 . 2023년 1월에 출시된 이 감지기는 사용자가 결정을 내리기 전에 최소 1,000자 길이의 샘플 텍스트를 수동으로 입력해야 했습니다. AI 생성 콘텐츠를 단 26%의 정확도로 정확하게 분류했으며, 인간 생성 콘텐츠에 9%의 확률로 AI 기반 콘텐츠로 라벨을 붙였습니다. 또한 한 텍사스 A&M 교수는 최종 과제에 ChatGPT를 사용했다는 이유로 전체 수업을 잘못 낙제했습니다 .
OpenAI도 사용자 반발을 우려해 도구 출시를 주저하고 있는 것으로 알려졌습니다. Wall Street Journal에 따르면 ChatGPT 사용자의 69%는 그러한 도구가 신뢰할 수 없으며 부정 행위에 대한 허위 비난을 초래할 가능성이 있다고 믿고 있습니다. 또 다른 30%는 OpenAI가 실제로 기능을 출시할 경우 다른 모델을 선호하여 챗봇을 기꺼이 중단할 것이라고 말했습니다. 또한 회사는 개발자가 워터마크를 리버스 엔지니어링하고 이를 무효화하는 도구를 구축할 수 있다는 점을 우려하고 있습니다.
OpenAI가 워터마킹 시스템 출시의 장점을 논의하는 동안에도 GPTZero, ZeroGPT, Scribbr, Writer AI Content Detector 등 다른 AI 스타트업들이 자체 텍스트 감지기 출시를 서두르고 있습니다. 그러나 일반적으로 정확성이 부족하기 때문에 인간의 눈은 AI 생성 콘텐츠를 찾아내는 가장 좋은 방법으로 남아 있으며 이는 안심할 수 없습니다.