AI 스타트업인 Anthropic은 자사의 Claude 3.5 Sonnet 대형 언어 모델이 GPT-4o 및 Llama-400B를 포함한 다른 주요 모델을 능가했다는 발표에 이어 월요일 독립적인 소네트 개발 자금을 지원하기 위한 새로운 프로그램을 시작할 계획이라고 발표했습니다. 향후 모델을 평가하기 위한 타사 벤치마크 테스트입니다.
블로그 게시물에 따르면 회사는 "AI 모델의 고급 기능을 효과적으로 측정"할 수 있는 벤치마크를 만들기 위해 타사 개발자에게 비용을 지불할 의향이 있습니다.
Anthropic은 월요일 블로그 게시물 에서 “이러한 평가에 대한 우리의 투자는 전체 생태계에 도움이 되는 귀중한 도구를 제공하여 전체 AI 안전 분야를 향상시키기 위한 것입니다.”라고 썼습니다. "고품질의 안전 관련 평가를 개발하는 것은 여전히 어려운 일이며 수요가 공급을 앞지르고 있습니다."
회사는 제출된 벤치마크를 통해 AI가 사이버 보안을 포함할 수 있는 강제 대응 시도에 얼마나 잘 저항하는지를 포함하여 여러 요소를 기반으로 AI의 상대적 "안전 수준"을 측정하는 데 도움을 주기를 원합니다. 화학, 생물학, 방사선 및 핵(CBRN); 그리고 불일치, 사회적 조작 및 기타 국가 안보 위험. Anthropic은 또한 모델의 고급 기능을 평가하는 데 도움이 되는 벤치마크를 찾고 있으며 "대학원생에게도 도전할 수 있는 수만 개의 새로운 평가 질문 및 엔드투엔드 작업 개발"에 자금을 지원할 의향이 있습니다. 다양한 소스의 지식, 교묘하게 표현된 악의적인 사용자 요청을 거부하는 능력, 여러 언어로 응답하는 능력을 종합합니다.
Anthropic은 회사가 "현실적이고 안전과 관련된" 위협 모델링 노력을 알리는 데 도움이 되는 다양한 테스트 형식에 걸쳐 최대 "수천"의 테스터가 참여할 수 있는 "충분히 어려운" 대용량 작업을 찾고 있습니다. 관심 있는 개발자는 회사에 제안서를 제출할 수 있으며, 회사는 이를 순차적으로 평가할 계획입니다.