페이스북 모회사 메타(Meta)는 화요일 라마 3.1 오픈소스 대형 언어 모델 출시를 발표했다. 새로운 LLM은 8B, 70B, 405B 매개변수의 세 가지 크기로 제공됩니다. 후자는 현재까지 구축된 가장 큰 오픈 소스 AI입니다. Meta CEO인 Mark Zuckerberg는 이를 "최초의 프론티어 수준 오픈 소스 AI 모델"이라고 설명합니다.
Zuckerberg는 화요일 블로그 게시물에서 “지난해 Llama 2는 개척지 뒤의 이전 세대 모델과만 비교할 수 있었습니다.”라고 썼습니다 . “올해 Llama 3는 가장 발전된 모델과 경쟁하며 일부 분야에서 선두를 달리고 있습니다. 내년부터 우리는 미래의 Llama 모델이 업계에서 가장 발전된 모델이 될 것으로 기대합니다.”
16,000개의 H100 GPU 를 사용하여 15조 개의 토큰으로 훈련된 Meta는 405B 모델이 이전 Llama 3보다 훨씬 크다고 주장합니다. 이는 "일반 지식, 수학, 도구 사용 및 다국어 번역" 분야에서 OpenAI의 GPT-4o , Google의 Gemini 1.5 또는 Anthropic의 Claude 3.5 와 같은 오늘날 최고의 폐쇄 소스 모델과 경쟁하는 것으로 알려졌습니다. 저커버그는 화요일 인스타그램을 통해 메타 AI가 연말까지 가장 널리 사용되는 AI 비서로서 ChatGPT를 능가할 것이라고 예측했다 .
회사는 Llama 3.1의 세 가지 버전 모두 128,000 토큰의 확장된 프롬프트 길이를 누릴 수 있어 사용자가 추가 컨텍스트를 제공하고 책 한 권 분량의 지원 문서를 제공할 수 있다고 밝혔습니다. 또한 출시 시 8개 언어를 지원할 예정입니다. 또한 Meta는 개발자가 Llama 3.1 출력을 사용하여 다른 모델을 교육할 수 있도록 라이선스 계약을 수정했습니다.
Meta는 또한 Llama 생태계를 더욱 발전시키기 위해 업계 내 12개 이상의 다른 회사와 파트너십을 맺고 있다고 발표했습니다. Amazon, Databricks 및 Nvidia는 개발자가 Llama를 기반으로 자신의 모델을 미세 조정할 수 있도록 풀 서비스 소프트웨어 제품군을 출시할 예정이며, 스타트업 Groq는 새로운 3.1 모델 제품군을 위해 "낮은 지연 시간, 저렴한 추론 서비스 구축"을 구축했습니다. , Zuckerberg는 썼습니다.
오픈 소스인 Llama 3.1은 AWS, Google Cloud 및 Azure를 포함한 모든 주요 클라우드 서비스에서 사용할 수 있습니다.