OpenAI는 오랫동안 치약을 짜내고 있습니다.
Yunei를 둘러보면 OpenAI와 경쟁할 수 있는 상대는 소수에 불과합니다. Anthropic의 Claude 모델은 적어도 신뢰할 수 있는 경쟁자입니다.
별과 달을 기대하며 '초대형 컵' 오퍼스의 등장을 기다리지 않았지만, 다행히 새롭게 업그레이드된 대형 컵 클로드 3.5 소네트도 기다렸다.
이번 업데이트의 주요 내용을 간략하게 요약하면 다음과 같습니다.
- GPT-4o를 치고 Gemini 1.5 Pro를 걷어차는 Claude 3.5 Sonnet의 새 버전은 훨씬 앞서 있습니다.
- Claude 3.5 Haiku는 가장 빠른 응답 속도를 가지며 성능은 GPT-4o mini와 비슷합니다.
- Claude에게 컴퓨터 게임 방법을 가르치는 API 구축
클로드에게 컴퓨터를 가르쳐주세요. AI 키보드 전사가 여기에 있나요?
이번 업데이트의 하이라이트는 실제로 새 모델이 아니라 AI가 컴퓨터에서 플레이하도록 가르치는 방법입니다.
Anthropic은 공개 테스트를 위한 혁신적인 "컴퓨터 사용" 기능을 출시했습니다. Claude에게 API를 통해 사람처럼 컴퓨터를 작동하도록 가르치면 화면을 보고, 커서를 움직이고, 버튼을 클릭하고, 입력할 수 있습니다.
간단히 말해서 Claude는 이제 인간이 설계한 표준 도구와 소프트웨어를 사용할 수 있습니다. 개발자는 이를 사용하여 지루하고 반복적인 프로세스 작업을 해제하고 연구와 같은 개방형 작업을 수행할 수도 있습니다.
Claude에게 이 기술을 갖추기 위해 Anthropic은 API를 사용하여 Claude가 컴퓨터 인터페이스를 인식하고 상호 작용할 수 있도록 합니다.
특히 개발자는 상호 작용 프로세스 중에 이 API를 통합하여 Claude가 지침(예: "내 컴퓨터에 있는 데이터를 사용하고 이를 온라인 정보와 결합하여 양식을 작성합니다.")을 컴퓨터 지침(예: 양식 확인, move 마우스를 움직여 브라우저를 열고 관련 웹 페이지로 이동한 후 인터넷의 데이터로 표를 채웁니다.
OSWorld는 실제 컴퓨터 환경에서 개방형 작업을 수행하는 다중 모드 에이전트의 능력을 테스트하는 데 사용되는 벤치마크 플랫폼입니다. 일반적으로 AI 모델이 인간처럼 컴퓨터를 사용할 수 있는지 평가하는 데 사용됩니다.
클로드 3.5 소네트(Claude 3.5 Sonnet)는 스크린샷 전용 테스트 부문에서 14.9%를 기록해 2위인 7.8%를 훨씬 앞섰다. 더 많은 단계를 허용했을 때 Claude의 점수는 22.0%였습니다.
일부 회사의 제품에서는 이미 이 기능을 사전에 사용하고 있습니다.
예를 들어, Replit는 Claude 3.5 Sonnet의 컴퓨터 작동 및 인터페이스 탐색 기능을 활용하여 구축 중인 애플리케이션을 평가하기 위한 Replit 에이전트 제품의 핵심 기능을 개발하고 있습니다.
물론 이 접근법은 새로운 것이 아니다.
그 전에 Asana, Canva, Cognition, DoorDash, Replit 및 The Browser Company는 수십 또는 수백 단계가 필요한 작업을 수행하면서 이러한 가능성을 탐색하기 시작했습니다.
그러나 이상은 매우 충만하고 현실은 매우 빈약합니다.
관계자는 또 이 기능이 아직 실험 단계에 있어 컴퓨터를 조작할 때 속도가 느리고 오류가 자주 발생한다고 인정했다. 인간이 손을 흔들며 하는 것처럼 보이는 스크롤, 드래그, 확대/축소와 같은 몇 가지 간단한 작업은 여전히 클로드에게 큰 도전입니다.
이 데모를 녹음하는 동안 우리는 몇 가지 흥미로운 에피소드를 접했습니다. 한번은 Claude가 진행 중인 긴 화면 녹화를 실수로 종료하여 모든 영상이 손실되었습니다.
나중에 Claude는 코딩 데모 사이에 잠시 쉬면서 Yellowstone 국립공원의 사진을 보았습니다.
또한, Claude는 화면의 정적인 이미지를 캡쳐한 후 이 이미지들을 결합하여 화면에서 무슨 일이 일어나고 있는지 이해하지만, 이로 인해 팝업이나 팝업 등 화면 상의 간단한 동작이나 알림은 캡쳐하지 못할 수도 있습니다. 빠르게 변화하는 아이콘
관계자는 또 실험적인 제품을 미리 공개하는 이유는 개발자들의 피드백을 받기 위함이라고 밝혔으며, 이 기능은 시간이 지나면서 점차 개선될 것으로 예상된다.
Anthropic의 개발자 관계 이사인 Alex Albert도 흥미로운 경험을 공유했습니다.
"컴퓨터 사용" 기능을 개발할 때 API의 잠재적인 문제를 식별하기 위해 엔지니어링 문제 해결 세션을 구성했습니다.
몇 명의 엔지니어가 한 방에 모여 몇 시간 동안 일했지만 금세 배가 고파졌습니다. 그래서 엔지니어의 첫 번째 "컴퓨터 사용" 요청 중 하나는 Claude가 음식 배달 플랫폼인 DoorDash로 이동하여 모두에게 먹을 수 있는 충분한 음식을 주문하는 것이었습니다. .
Claude는 그것에 대해 약 1분 동안 생각하고 마침내 엔지니어들을 위해 피자를 주문했습니다.
네티즌들은 또한 컴퓨터 사용 기능이 거부하는 일의 목록을 빠르게 찾아냈습니다.
- 소셜 미디어 또는 기타 플랫폼에서 계정 만들기
- 이메일이나 메시지 보내기
- 소셜 미디어에 댓글 게시
- 구매하기
- 개인정보에 접근하다
- 전체 인증 코드(CAPTCHA)
- 이미지 생성, 편집 또는 수정
- 전화
- 제한된 콘텐츠에 액세스
- 개인 인증이 필요한 작업 수행
진정한 추론 모델의 왕, 새로운 모델 코딩이 훨씬 앞서 있습니다
Claude 3.5 Sonnet이 제출한 성적표를 살펴보겠습니다.
비록 대규모 모델 목록의 신뢰성이 예전만큼 좋지는 않지만, 동일한 테스트 질문 세트의 논리를 기반으로 우리는 여전히 새로 출시된 모델에 대한 예비적인 이해를 가질 수 있습니다.
GPT-4o를 치고 Gemini 1.5 Pro를 걷어차는 Claude 3.5 Sonnet은 GPQA, MMLU Pro, HumanEVal 등 일련의 벤치마크 테스트에서 눈부신 성능을 보여 훨씬 앞서 있다고 할 수 있습니다.
특히 코딩 분야에서는 클로드 3.5 소네트가 그 입지를 더욱 넓혔다. 벤치마크 테스트에서 왜 OpenAI o1 모델과의 비교가 없는지 궁금하실텐데요.
걱정하지 마십시오. Anthropic은 귀하의 예측을 예측했습니다.
OpenAI의 o1 모델군이 우리 평가표에 포함되지 않은 이유는 대부분의 모델과 달리 응답하기까지 많은 계산 시간이 필요하기 때문입니다. 이러한 본질적인 차이로 인해 성능 비교가 복잡해집니다.
번역하려면 비교하고 싶지만 비교할 수는 없습니다.
그러나 SWE-bench Verified 코딩 테스트에서 Claude 3.5 Sonnet의 성능은 33.4%에서 49.0%로 증가하여 OpenAI o1-preview와 같은 추론 모델 및 다양한 에이전트 코딩 시스템을 포함하여 공개적으로 사용 가능한 모든 모델을 능가했습니다.
Claude 3.5 Sonnet은 진정한 추론 모델의 왕입니다.
또한 Claude 3.5 Sonnet은 TAU-bench Agent Tool 테스트에서도 좋은 성적을 거두었습니다.
TAU-bench는 주로 실제 응용 시나리오에 가까운 평가 환경을 제공합니다.
클로드 3.5 소네트의 점수는 리테일 부문에서 62.6%에서 69.2%로 상승했고, 항공 부문에서도 점수가 36.0%에서 46.0%로 상승했다.
게다가 이러한 개선 사항은 가격을 높이거나 속도를 낮추지 않으며 Claude 3.5 Sonnet은 여전히 이전 제품과 동일한 가격 대비 성능 비율을 유지합니다.
공식 블로그에서는 코딩 능력의 향상이 Claude 3.5 Sonnet의 가장 큰 특징이라고 언급했습니다.
GitLab 테스트에서는 추가 지연 없이 추론 능력이 10% 향상되어 다단계 소프트웨어 개발 프로세스에 매우 적합한 것으로 나타났습니다. Browser Company는 또한 Claude 3.5 Sonnet이 웹 작업 흐름 자동화에서 테스트한 모든 이전 모델보다 성능이 뛰어났다고 언급했습니다.
극도로 높은 안전율을 추구하는 모범 기업인 Anthropic은 자연스럽게 Claude 3.5 Sonnet에 대한 재난 위험 평가를 실시했으며 그 결과는 ASL-2 표준을 충족했습니다. .
ASL-2는 위험한 능력(생물학적 무기를 만드는 방법에 대한 지시를 내리는 능력 등)의 초기 징후를 보여주는 시스템을 말하지만, 그 정보는 신뢰도가 부족하거나 검색 엔진 수준을 뛰어넘을 수 없기 때문에 그다지 유용하지 않습니다. 제공할 수 있습니다.
요컨대, 클로드 3.5 소네트가 아무리 강력하더라도 아직 인류를 위협하지는 않습니다.
가장 강력한 모델에 대해 이야기한 후, 다음은 가장 빠른 응답 속도를 갖춘 새로운 업그레이드 모델인 Claude 3.5 Haiku입니다.
종이 매개변수만 보면 중형 Claude 3.5 Haiku는 GPT-4o mini에 거의 뒤떨어지지 않으며, 전체적인 성능은 이전 세대 Claude 3와 동등하다고 할 수 있습니다. 작.
하지만 가격은 변하지 않았고, 응답 속도도 느려지지 않았습니다. "가격을 올리지 않고 수량을 늘리는" 어긋난 경험이 있습니다.
마찬가지로 Claude 3.5 Haiku는 인코딩 작업에서 특히 뛰어난 성능을 발휘합니다. 예를 들어, SWE-bench Verified의 점수는 40.6%로 Claude 3.5 Sonnet(원본) 및 GPT-4o를 포함하여 소위 최첨단 에이전트라고 불리는 많은 제품을 능가합니다.
낮은 대기 시간, 향상된 명령 실행 기능 및 더욱 정확한 도구 사용으로 인해 Claude 3.5 Haiku는 개인화된 서비스가 필요한 시나리오에 특히 적합합니다.
예를 들어, 이전 쇼핑 습관을 바탕으로 제품을 추천하거나, 제품 가격을 결정하는 데 도움을 주거나, 심지어 창고의 재고 관리에도 도움을 줄 수 있습니다.
마지막으로, 이제 모든 사용자가 Claude 3.5 Sonnet의 업그레이드 버전을 사용할 수 있습니다. Claude 3.5 Haiku는 이번 달 말에 출시될 예정입니다. 처음에는 텍스트 입력만 지원하고 이미지 입력 기능은 나중에 출시될 예정입니다.
최근 AI계를 주목해보면 업계 주요 인사 중 상당수가 '예측'을 했다는 사실을 알 수 있다.
Demis Hassabis, Yann LeCun, Sam Altman 및 Anthropic의 Dario Amodei는 모두 AGI가 향후 몇 년 내에 구현될 것이며 기간은 2025년에서 2030년까지일 것이라고 주장합니다.
그들은 대부분의 질병 치료, 기후 문제 해결, 빈곤 퇴치 등 유토피아에 버금가는 하나의 AGI 청사진을 그려냈습니다. 여러 장문의 핵심 아이디어를 종합해보면 AI는 거의 모든 질병의 기적적인 치료법이 되었습니다.
하지만 그렇다고 해도 자신감은 실제 제품을 통해 입증되어야 합니다.
신뢰할 수 있고 지속 가능한 비즈니스 모델이 없는 상황에서 업계는 당나귀 앞에 매달린 당근처럼 높은 투자와 지출을 유지하기 위해 AGI에 대한 '맹목적인 믿음'에만 의존할 수 있습니다.
즉, 오늘 출시된 Claude 모델 등 일련의 제품 기능도 이전 제품 출시 리듬에 맞춰 곧 OpenAI가 출시될 것으로 예상됩니다.
차이점은 OpenAI의 무기고가 확실히 더 풍부하다는 것입니다. 아마도 다음 공개될 버전은 OpenAI o1의 공식 버전 또는 "미래" Sora가 될 것입니다.
다음으로 OpenAI가 어떻게 "검을 보여 주는지" 기다려 보겠습니다.
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo