올해는 AI계에 정말 설렘의 물결이 일고 있습니다.
최근 AI계에서는 스케일링 법칙이 '벽에 부딪혔다'는 소식이 폭발했다. Turing Award 수상자 Yann Lecun, Ilya 및 Anthropic 창립자 Dario Amodei는 설전을 시작했습니다.
논쟁의 핵심은 모델의 크기가 계속 증가함에 따라 성능 향상에 한계가 있는지 여부입니다. 여론이 심화됨에 따라 OpenAI CEO Sam Altman은 X 플랫폼에 대해 다음과 같이 응답했습니다.
"벽은 없다, 벽은 없다"
이 논쟁의 맥락에서 블룸버그는 놀라운 소식을 공개했습니다.
오픈AI는 내년 1월 '오퍼레이터(Operator)'라는 AI 에이전트를 출시할 계획이다. 이 에이전트는 컴퓨터를 사용해 코드 작성이나 여행 예약 등의 작업을 사용자를 대신해 수행할 수 있다.
이에 앞서 앤트로픽과 마이크로소프트, 구글도 비슷한 방향으로 계획을 세우고 있는 것으로 알려졌다.
AI 산업 전체에서 AI 기술의 발전은 결코 1차원적인 선형 과정이 아니었습니다. 한 방향이 저항에 부딪히는 것처럼 보일 때 혁신은 종종 다른 차원에서 돌파됩니다.
확장법칙이 벽에 부딪혔나요? 다음 단계는 무엇입니까?
Scaling Laws에 병목 현상이 발생했다는 소식은 지난 주말 외신 The Information의 보도에서 처음 나왔습니다.
수천 단어로 구성된 설득력 있는 보고서는 두 가지 핵심 정보를 드러냈습니다.
좋은 소식은 OpenAI가 차세대 모델인 Orion의 훈련 과정의 20%를 완료했음에도 불구하고 Altman은 Orion이 지능과 작업 수행 및 질문에 답하는 능력 측면에서 이미 GPT-4와 동등한 수준이라고 말했습니다.
나쁜 소식은 이를 사용해 본 OpenAI 직원들의 평가에 따르면 GPT-3과 GPT-4 사이의 엄청난 발전에 비해 오리온은 프로그래밍 등 업무 수행 능력이 떨어지는 등 개선폭이 적다는 점이다. 운영 비용.
한 문장으로 말하면 Scaling Laws는 병목 현상에 직면했습니다.
스케일링 법칙이 예상만큼 좋지 않은 영향을 이해하려면 스케일링 법칙에 익숙하지 않은 친구들에게 스케일링 법칙의 기본 개념을 간략하게 소개해야 합니다.
2020년 OpenAI는 논문에서 처음으로 스케일링 법칙을 제안했습니다.
이 이론은 대규모 모델의 최종 성능은 주로 계산량, 모델 매개변수의 양, 훈련 데이터의 양에 관련되며 기본적으로 모델의 구체적인 구조(레이어 수)와는 아무런 관련이 없음을 지적합니다. /깊이/너비).
다소 어색하게 들리지만, 인간적으로 보면 대형 모델의 성능은 모델 크기, 훈련 데이터 양, 컴퓨팅 리소스가 증가함에 따라 그에 따라 증가합니다.
OpenAI의 이 연구는 후속 대형 모델 개발의 기반을 마련했으며 GPT 모델 시리즈의 성공에 기여했을 뿐만 아니라 ChatGPT 교육을 위한 모델 설계 및 교육 최적화를 위한 핵심 지침을 제공했습니다.
그러나 우리는 여전히 GPT-100에 대해 생각하고 있지만 The Information의 폭로에 따르면 단순히 모델 크기를 늘리는 것만으로는 더 이상 성능의 선형적 향상을 보장할 수 없으며 높은 비용과 현저한 한계 이익 감소가 동반됩니다.
그리고 OpenAI만이 어려움을 겪고 있는 것은 아닙니다.
블룸버그는 이 문제에 정통한 소식통을 인용해 구글이 소유한 제미니 2.0도 예상한 목표를 달성하지 못한 동시에, 앤트로픽이 소유한 클로드 3.5 오푸스(Claude 3.5 Opus)의 출시 시기도 반복적으로 지연됐다고 전했다.
시간을 다투는 AI 업계에서는 제품이 없는 새로운 소식이 가장 큰 나쁜 소식을 의미하는 경우가 많다.
여기에 언급된 확장 법칙의 병목 현상이 대규모 모델 개발의 종료를 의미하지 않는다는 점은 분명해야 합니다. 더 깊은 문제는 높은 비용이 한계 이익의 심각한 감소로 이어진다는 것입니다.
Anthropic CEO Dario Amodei는 모델이 점점 더 커지면서 훈련 비용이 폭발적으로 증가했으며 현재 개발 중인 AI 모델의 훈련 비용이 10억 달러에 달한다고 밝힌 적이 있습니다.
아모데이는 또 향후 3년 안에 AI 훈련 비용이 100억 달러, 심지어 1000억 달러까지 천문학적인 수치로 치솟을 것이라고 지적했다.
GPT 시리즈를 예로 들면, GPT-3의 단일 훈련 비용은 약 140만 달러에 달합니다. 이러한 지출은 주로 강력한 컴퓨팅 리소스, 특히 GPU 사용과 막대한 전력 소비에서 발생합니다.
GPT-3 훈련에만 1287MWh의 전력이 소비됐다.
지난해 캘리포니아대학교 리버사이드 캠퍼스의 연구에 따르면 ChatGPT는 사용자와 소통하는 25~50개의 질문마다 500밀리리터의 물을 소비하는 것으로 나타났습니다. 2027년까지 전 세계 AI에 대한 연간 청정 담수 수요는 4.2~6.6에 이를 것으로 추산됩니다. 10억 입방미터, 이는 덴마크의 연간 물 소비량 4-6개 또는 영국의 절반에 해당합니다.
GPT-2에서 GPT-3, 그리고 GPT-4에 이르기까지 AI가 가져온 경험 개선은 비약적인 발전을 이루었습니다.
주요 기업들이 AI 분야에 막대한 투자를 하는 것은 바로 이러한 놀라운 발전을 기반으로 합니다. 그러나 이 길이 점차 종말을 맞이하게 되면 단순히 모델 규모의 확장만을 추구하는 것만으로는 더 이상 큰 성능 향상을 보장할 수 없으며, 높은 비용과 한계 이익의 감소가 직면해야 하는 현실이 되었습니다.
이제는 무작정 스케일을 추구하기보다는 올바른 방향으로 스케일링을 구현하는 것이 더 중요합니다.
안녕, GPT, 추론 "O"
모두가 벽을 거부합니다. 심지어 이론도 거부합니다.
스케일링 로즈(Scaling Laws)가 병목현상에 부딪혔다는 의혹이 제기됐다는 소식이 AI계에 소란을 일으키자 의심의 목소리도 급증했다.
항상 반주류 입장을 취해온 튜링 상 수상자이자 Meta AI의 수석 과학자인 Yann Lecun은 어제 X 플랫폼에서 Ilya Sutskever와의 Reuters 인터뷰를 다음 기사와 함께 신나게 다시 게시했습니다.
"뒤늦게 생각하는 것처럼 말하고 싶지는 않지만 당신에게 상기시켜 줬어요.
인용문: "AI 연구소인 Safe Superintelligence(SSI)와 OpenAI의 공동 창립자인 Ilya Sutskever는 최근 로이터 통신과의 인터뷰에서 사전 훈련 단계를 확장함으로써 즉, 라벨이 지정되지 않은 대량의 데이터를 사용하여 AI 모델을 훈련시켜 언어 패턴을 이해하고 결과가 정체되었습니다.”
지난 2년 동안 현재의 대형 모델 루트에 대한 AI 거인의 평가를 되돌아보면 말 한마디 한마디가 꼼꼼하고 문장 하나하나가 살벌하다고 할 수 있다.
예를 들어, 오늘날의 AI는 고양이보다 멍청하고 그 지능은 훨씬 뒤떨어져 있습니다. LLM은 물리적 세계에 대한 직접적인 경험이 부족하고 세계를 진정으로 이해하지 못한 채 텍스트와 이미지만 조작할 뿐입니다. 막다른 골목 등등
두 달 전으로 되돌아간 Yann Lecun은 현재의 주류 라인에 대해 무의식적으로 사형을 선고했습니다. 그는 또한 AI가 인류의 생존을 위협할 것이라는 주장은 완전히 넌센스라고 굳게 믿고 있습니다.
- 대형 언어 모델(LLM)은 훈련 데이터에 포함되지 않은 질문에 답할 수 없습니다.
- 훈련받지 않은 어려운 문제는 해결할 수 없으며,
- 인간의 도움 없이는 새로운 기술이나 지식을 배울 수 없습니다.
- 그들은 새로운 것을 창조할 수 없습니다. 현재 대규모 언어 모델은 인공지능 기술의 일부일 뿐이다. 단순히 이러한 모델을 확장하는 것만으로는 이를 수행할 수 없습니다.
Meta FAIR에서 근무하는 Tian Yuandong 박사는 현재의 딜레마를 일찍부터 예견했습니다.
지난 5월 언론과의 인터뷰에서 중국 과학자는 스케일링 법칙이 옳을 수도 있지만 전부는 아닐 것이라고 비관적으로 말했다. 그의 견해에 따르면 확장 법칙의 본질은 기하급수적인 데이터 증가를 "몇 가지 이득"으로 교환하는 것입니다.
"결국 인간 세계에는 인간이 신속하게 대응해야 하는 롱테일 요구 사항이 많을 수 있습니다. 이러한 시나리오의 데이터 자체는 매우 작으며 LLM은 이를 얻을 수 없습니다. 결국 스케일링 법칙이 개발되면 모든 사람이 동일한 '데이터' 위에 서 있다 '격리섬'에서는 외딴섬의 데이터는 전적으로 모든 사람의 소유이며, 매 순간 끊임없이 생성된다. 전문가들은 AI와 통합하는 법을 배워 매우 강력해지며, AI는 그들을 대체할 수 없습니다. "
그러나 아직은 상황이 그다지 비관적이지 않을 수도 있습니다.
객관적으로 말하자면, Ilya는 Reuters와의 인터뷰에서 Scaling Laws의 진전이 정체되었음을 인정했지만 그 끝을 선언하지는 않았습니다.
"2010년대는 확장의 시대였으며 이제 우리는 다시 한번 경이로움과 발견의 새로운 시대로 진입하고 있습니다. 이제 확장에 적합한 것을 선택하는 것이 그 어느 때보다 중요합니다. 중요한."
또한 Ilya는 SSI가 사전 훈련 과정을 확장하기 위한 새로운 방법을 모색하고 있다고 말했습니다.
Dario Amodei도 최근 팟캐스트에서 이에 대해 이야기했습니다.
그는 인간 수준 이하의 모델에는 절대적인 상한선이 없다고 예측합니다. 모델이 아직 인간 수준에 도달하지 않았기 때문에 스케일링 법칙이 실패했다고 말할 수는 없지만 실제로 성장이 둔화되었습니다.
예로부터 산은 변하지 않고 물은 변했고, 물은 변하지 않고 사람이 변했다.
지난 달 OpenAI 연구원 Noam Brown은 TED AI 컨퍼런스에서 다음과 같이 말했습니다.
"포커 게임 중에 로봇에게 20초 동안 생각하도록 요청하는 것은 모델을 100,000배 확장하고 100,000배 더 오래 훈련시키는 것과 동일한 성능 향상을 제공하는 것으로 나타났습니다."
어제 Yann lecun의 뒤늦은 발언에 대해 그는 다음과 같이 반응했습니다.
“지금 우리는 앞서 말했듯이 대규모 언어 모델 사전 훈련에 필요한 계산 비용은 매우 높지만 추론 비용은 매우 낮습니다. 사전 훈련으로 인해 훈련에 필요한 데이터의 양과 비용이 너무 커져 AI의 발전에 따른 수익이 감소할 것이라고 우려하는 많은 사람들이 있습니다. 하지만 제 생각에 o1의 정말 중요한 교훈 중 하나는 다음과 같습니다. 이제 우리는 추론 컴퓨팅을 확장할 수 있고 추론 컴퓨팅을 확장할 여지가 엄청나기 때문입니다.”
Noam Brown이 대표하는 연구원들은 추론/테스트 시간 컴퓨팅이 모델 성능 향상을 위한 또 다른 만병통치약이 될 가능성이 높다고 굳게 믿고 있습니다.
말하자면, 친숙한 OpenAI o1 모델을 언급해야 합니다.
인간의 추론과 매우 유사하게 o1 모델은 다단계 추론을 통해 문제에 대해 "생각"할 수 있습니다. 이는 추론 단계에서 모델에 더 많은 "생각 시간"을 제공하는 것을 강조합니다. 핵심 비밀은 GPT-4와 같은 네트워크에 있다는 것입니다. 기본 모델에.
예를 들어, 모델은 단일 답변을 즉시 선택하는 대신 실시간으로 여러 가지 가능한 답변을 생성하고 평가하여 궁극적으로 최선의 경로를 선택할 수 있습니다. 이를 통해 수학 문제 및 프로그래밍과 같은 복잡한 작업에 더 많은 컴퓨팅 리소스를 집중할 수 있습니다. , 또는 인간과 같은 추론과 의사 결정이 필요한 복잡한 작업.
Google은 최근 이 경로를 따랐습니다.
The Information에 따르면 최근 몇 주 동안 DeepMind는 유사한 기능을 개발하기 위해 수석 연구 과학자 Jack Rae와 전 Character.AI 공동 창립자 Noam Shazeer가 이끄는 Gemini 부서 내에 팀을 구성했습니다.
동시에 Google은 뒤처지지 않기 위해 모델이 정보를 처리하는 방법(예: 훈련에서 서로 다른 개념이나 패턴 간의 연결을 얼마나 빨리 설정하는지 등)을 결정하는 변수인 '초매개변수' 조정을 포함하여 새로운 기술 경로를 시도하고 있습니다. 데이터를 확인하고 어떤 변수가 최상의 결과를 가져오는지 확인하세요.
참고로, GPT 개발 속도가 느려지는 중요한 이유는 고품질 텍스트 및 기타 사용 가능한 데이터가 부족하기 때문입니다.
이 문제에 대해 구글 연구원들은 원래 AI를 사용해 데이터를 합성하고 오디오와 비디오를 Gemini의 훈련 데이터에 통합하여 상당한 개선을 이루기를 희망했지만 이러한 시도는 별 효과가 없는 것처럼 보였습니다.
이 문제에 정통한 사람들은 OpenAI와 다른 개발자들도 합성 데이터를 사용한다고 밝혔습니다. 그러나 그들은 또한 AI 모델 개선에 대한 합성 데이터의 효과가 매우 제한적이라는 것을 발견했습니다.
안녕하세요 자비스
안녕 GPT, 안녕 추론 "o".
최근 Reddit AMA 이벤트에서 한 네티즌은 Altman에게 "GPT-5"와 추론 모델 o1의 완전한 버전이 출시될 것인지 물었습니다.
당시 알트만은 "우리는 o1과 후속 버전의 출시를 우선시하고 있다"며 제한된 컴퓨팅 리소스로 인해 동시에 여러 제품을 출시하기 어렵다고 덧붙였습니다.
그는 또한 차세대 모델이 'GPT'라는 이름을 계속 유지하지 못할 수도 있음을 강조했습니다.
이제 알트만은 GPT 명명 시스템과 명확한 선을 긋고 대신 "o"라는 이름을 딴 추론 모델을 출시하려는 것으로 보입니다. 여기에는 깊은 의미가 있는 것 같습니다. 추론 모델의 레이아웃은 여전히 현재 주류 에이전트의 토대를 마련할 수 있습니다.
최근 Altman은 YC 회장 Garry Tan과의 인터뷰에서 다시 5단계 AGI 이론에 대해 이야기했습니다.
- L1: 채팅 로봇은 채팅 로봇과 같이 사용자와 원활한 대화, 정보 제공, 질문 답변, 생성 지원 등을 할 수 있는 대화 기능을 갖춘 AI입니다.
- L2: 추론자가 인간처럼 문제를 해결할 수 있고 인간의 박사 수준과 유사한 복잡한 문제를 해결할 수 있으며 OpenAI o1과 같은 강력한 추론 및 문제 해결 기능을 갖춘 AI입니다.
- L3: 에이전트가 생각할 뿐만 아니라 행동도 할 수 있고, 완전히 자동화된 업무를 수행할 수 있는 AI 시스템입니다.
- L4: 혁신가가 발명과 창조를 지원할 수 있는 AI는 혁신할 수 있는 능력을 갖추고 있으며 과학적 발견, 예술적 창작 또는 엔지니어링 설계와 같은 분야에서 인간이 새로운 아이디어와 솔루션을 생성하도록 지원할 수 있습니다.
- L5: 조직자가 조직 업무를 완료할 수 있고 전체 조직의 비즈니스 간 프로세스에 대한 계획, 실행, 피드백, 반복, 리소스 할당, 관리 등을 자동으로 제어할 수 있는 AI는 기본적으로 인간과 유사합니다.
따라서 Google 및 Anthropic과 마찬가지로 OpenAI도 이제 모델에서 에이전트라고 불리는 일련의 AI 도구로 초점을 옮기고 있습니다.
최근 Bloomberg는 OpenAI가 컴퓨터를 사용하여 사용자를 대신하여 코드 작성이나 여행 예약 등의 작업을 수행할 수 있는 "Operator"라는 새로운 AI 에이전트 출시를 준비하고 있다고 밝혔습니다.
수요일 직원 회의에서 OpenAI 경영진은 1월에 이 도구의 연구 미리 보기를 출시하고 회사의 API(응용 프로그래밍 인터페이스)를 통해 개발자에게 제공할 계획을 발표했습니다.
이에 앞서 Anthropic은 사용자 컴퓨터 작업을 실시간으로 처리하고 대신 작업을 수행할 수 있는 유사한 에이전트도 출시했습니다. 동시에 Microsoft는 최근 직원들이 이메일을 보내고 기록을 관리할 수 있는 에이전트 도구 세트를 출시했습니다.
구글은 자체 AI 에이전트 출시도 준비 중이다.
보고서는 또한 OpenAI가 여러 에이전트 관련 연구 프로젝트를 수행하고 있음을 밝혔습니다. 완성에 가장 가까운 것은 웹 브라우저에서 작업을 수행할 수 있는 범용 도구입니다.
이러한 에이전트는 이해하고 추론하고 계획하고 조치를 취할 수 있을 것으로 기대되지만 실제로는 단일 모델이 아닌 여러 AI 모델로 구성된 시스템입니다.
빌 게이츠는 "모든 데스크탑에는 PC가 있다"고 말했고, 스티브 잡스는 "모든 사람의 손에는 스마트폰이 있다"고 말했습니다. 이제 우리는 모든 사람이 자신만의 AI 에이전트를 갖게 될 것이라고 과감하게 예측할 수 있습니다.
물론 인류의 궁극적인 목표는 언젠가 우리 앞에 있는 AI에게 고전 영화 대사를 말할 수 있기를 바라는 것입니다.
안녕하세요 자비스
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo