The Information 의 새로운 보고서에 따르면 OpenAI의 차세대 ChatGPT Orion 모델은 연말까지 출시될 것이라는 소문이 돌기 도 하고 거부되기도 했지만 일단 출시되면 과장된 광고의 전부가 아닐 수도 있습니다.
익명의 OpenAI 직원을 인용하여 보고서는 Orion 모델이 GPT-4가 GPT-3에 비해 이전 GPT-4에 비해 "훨씬 작은" 개선을 보였다고 주장합니다. 해당 소식통은 또한 Orion이 "특정 작업 처리, 특히 코딩 애플리케이션 처리에서 이전 모델 [GPT-4]보다 확실히 낫지 않다"고 지적합니다. 그러나 새로운 모델은 문서 요약이나 이메일 생성 과 같은 일반적인 언어 기능이 눈에 띄게 강력합니다.
Information의 보고서는 새 모델을 훈련하는 데 필요한 "고품질 텍스트 및 기타 데이터의 공급 감소"가 새 모델의 미미한 이득의 주요 요인이라고 언급합니다. 간단히 말해서, AI 산업은 이미 X, Facebook, YouTube (후자는 두 차례 에 걸쳐)와 같은 사이트에서 소셜 미디어 데이터의 손쉬운 소스를 제거하면서 교육 데이터 병목 현상에 빠르게 직면하고 있습니다. 모델을 현재 기능 이상으로 발전시키는 데 도움이 되는 복잡한 코딩 과제를 찾는 데 어려움을 겪고 있으며 출시 전 교육 속도가 느려집니다.
훈련 효율성의 감소는 생태학적, 상업적으로 막대한 영향을 미칩니다. 프론티어급 LLM이 성장하고 매개변수 수가 수조 달러에 이르게 되면서 에너지, 물 및 기타 자원의 양은 향후 10년 동안 6배 증가할 것으로 예상됩니다 . 이것이 바로 Microsoft가 Three Mile Island를 다시 시작하려고 시도하고 , AWS가 960MW 발전소를 구입하고 , Google이 7개의 원자로 출력을 구입하여 점점 늘어나는 AI 데이터 센터에 필요한 전력을 공급하는 것을 보고 있는 이유입니다. 전력 인프라는 도저히 따라잡을 수 없습니다.
이에 대응하여 TechCrunch 보고서에 따르면 OpenAI는 적절한 교육 데이터 부족을 피하기 위해 "기반 팀"을 만들었습니다. 이러한 기술에는 Nvidia의 Nemotron 모델 제품군이 생성할 수 있는 것과 같은 합성 교육 데이터를 사용하는 것이 포함될 수 있습니다. 팀에서는 훈련 후 모델의 성능을 개선하는 방법도 연구하고 있습니다.
원래 OpenAI GPT-5 의 코드명으로 여겨졌던 Orion은 이제 2025년 어느 시점에 도착할 것으로 예상됩니다. 도시 전력망을 소진시키지 않고 실제로 사용할 수 있는 충분한 전력이 있는지, 아직은 지켜봐야 할 것 같습니다.