이러한 AI 물결 속에서 Wall-Facing Intelligence는 All In 엔드투사이드 모델을 선택하는 중국의 몇 안 되는 대형 머리 모델 제조업체 중 하나입니다.
월페이스 인텔리전스가 지난 2월 고성능 소형 강철포 1.0을 출시한 이후 수개월에 걸쳐 반복적으로 업그레이드됐다. 그 중 이후 출시된 오픈소스 모델인 MiniCPM-Llama3-V 2.5는 강력한 성능으로 인해 스탠포드 AI 팀에 의해 표절됐다. 힘.
지난 4월 Wallface Intelligence CTO Zeng Guoyang은 GPT-3.5 수준 모델이 1~2년 내에 모바일 장치에서 실행될 수 있을 것이라고 예측했습니다.
좋은 소식은 오늘 출시된 MiniCPM 3.0이 1세대 소형 강철 대포가 출시되었을 때 설정된 플래그(GPT-3.5 수준 모델을 실행할 수 있도록 허용)를 달성했기 때문에 앞으로 1~2년을 기다릴 필요가 없다는 것입니다. 올해 안에 장치.
4B 매개변수만으로 MiniCPM 3.0의 성능은 GPT-3.5의 성능을 능가합니다. MiniCPM 3.0은 또한 "장치 측 ChatGPT" 순간의 도래를 의미합니다.
간단히 말해서 MiniCPM 3.0의 출시는 사용자가 향후 클라우드 처리에 의존하지 않고도 빠르고 안전하며 기능이 풍부한 로컬 AI 서비스를 경험할 수 있고, 보다 원활하고 개인화된 지능형 상호 작용 경험을 얻을 수 있음을 의미합니다.
공식이 공유한 벤치마크 테스트에 따르면 MiniCPM 3.0은 CMMLU, CEVAL 등 중국어 능력에 초점을 맞춘 벤치마크 테스트 중 최고이며, Phi-3.5, GPT-3.5 등의 모델을 쉽게 압도한다.
8B, 9B 등 뛰어난 국내 대형 모델들과 비교해도 MiniCPM 3.0의 성능은 여전히 뛰어납니다.
MiniCPM 3.0의 기능을 간략하게 요약해 보겠습니다.
- 문자 무제한, 목록 성능이 키미를 능가함
- GPT-4o에 필적하는 성능을 갖춘 최종 측에서 가장 강력한 함수 호출
- 초강력 RAG 3피스 플러그인 세트, 중국어 검색, 중국어 및 영어 교차 언어 우선
문자 무제한, 키미 그 이상의 성능
작지만 강력하다, 작지만 포괄적이라는 말은 아마도 MiniCPM 3.0에 가장 적합한 형용사일 것입니다.
컨텍스트 길이는 대형 모델의 기본 기능을 측정하는 중요한 특성입니다. 컨텍스트 길이가 길다는 것은 모델이 더 많은 정보를 저장하고 기억할 수 있음을 의미하므로 모델이 언어를 더 정확하게 이해하고 생성하는 데 도움이 됩니다.
예를 들어, 컨텍스트 길이가 길면 AI 작성 도구가 사용자가 이전에 작성한 내용을 기반으로 더 관련성 있는 제안을 제공하거나 더 많은 컨텍스트 정보를 기반으로 더 복잡하고 매력적인 스토리를 만들 수 있습니다.
이를 위해 페이스월은 LLMxMapReduce 장문 프레임 처리 기술을 제안했다.
이는 긴 컨텍스트를 여러 조각으로 자르고, 모델이 이를 병렬로 처리하고, 여러 조각에서 핵심 정보를 추출하고, 최종 답을 요약할 수 있도록 하여 무한히 긴 텍스트를 얻는 방법입니다.
이 기술은 일반적으로 모델의 긴 텍스트 처리 능력을 향상시키며, 텍스트가 계속해서 길어지는 경우에도 안정적인 성능을 유지하고, 길어짐에 따른 긴 텍스트의 점수 손실을 줄이는 것으로 보고됩니다.
▲ LLMxMapReduce 기술 프레임워크 다이어그램
32K부터 512K까지 MiniCPM 3.0은 대용량 모델 메모리의 한계를 깨고 컨텍스트 길이를 무한하고 안정적으로 확장할 수 있습니다.
대형 모델 긴 텍스트의 InfiniteBench 벤치마크 테스트 결과에 따르면 텍스트 길이가 길어질수록 4B 매개변수를 사용하는 MiniCPM 3.0의 성능 이점이 점점 더 분명해집니다.
InfiniteBench Zh.QA 평가 결과, 4B 매개변수를 갖춘 MiniCPM 3.0의 전반적인 성능이 Kimi보다 우수하여 긴 텍스트에서 상대적으로 강한 안정성을 보여줍니다.
GPT-4o에 필적하는 성능을 갖춘 최종 측에서 가장 강력한 함수 호출
APPSO 및 기타 미디어와의 인터뷰에서 Zeng Guoyang은 MiniCPM 3.0이 완전한 시스템 프롬프트 함수 호출 및 코드 해석기 기능을 추가하는 등 사용자가 우려하는 일부 기능을 개선했다고 말했습니다.
그 중 Function Calling은 사용자의 퍼지 입력 의미를 기계가 정확하게 이해하고 실행할 수 있는 구조화된 명령으로 변환할 수 있으며 대형 모델이 외부 도구 및 시스템에 연결할 수 있도록 해줍니다.
구체적으로, 달력, 날씨, 이메일, 브라우저 등과 같은 앱이나 휴대폰에 있는 사진 앨범, 파일과 같은 로컬 데이터베이스를 음성으로 호출하면 단말 장치 에이전트 애플리케이션에 무한한 가능성이 열리고 인간과 컴퓨터의 상호 작용이 더욱 자연스럽고 편리해집니다. .
보고서에 따르면 MiniCPM 3.0은 장치 측면에서 가장 강력한 함수 호출 성능을 가지고 있다고 주장합니다. 버클리 함수 호출 리더보드 목록에서 해당 성능은 GPT-4o에 가깝고 Llama 3.1-8B, Qwen-2-7B 및 GLM-4-9B 및 기타 여러 모델.
Zeng Guoyang은 기존 오픈 소스 모델이 이러한 기능을 완전히 포괄하지 못한다고 말했습니다. 일반적으로 일부 대규모 클라우드 모델만이 이러한 기능을 완전히 포괄할 수 있습니다. 이제 MiniCPM 3.0은 일부 해당 기능도 구현합니다.
정보 검색(IR)과 자연어 생성(NLG)을 결합한 기술인 RAG(검색 증강 생성)를 예로 들어 보겠습니다.
대규모 문서 라이브러리에서 관련 정보를 검색하여 텍스트 생성 프로세스를 안내합니다. 이를 통해 질문에 답하고 텍스트를 생성하는 등의 작업에서 모델의 정확성과 신뢰성을 향상하고 대규모 모델의 환각 문제를 줄일 수 있습니다.
전문적인 지식 기반에 의존하고 대형 모델 환상에 대한 허용치가 극히 낮은 법률 및 의학과 같은 수직 산업의 경우 대형 모델 + RAG가 업계에서 특히 실용적입니다.
MiniCPM 3.0은 RAG 3종 세트(검색 모델, 재정렬 모델, RAG 시나리오용 LoRA 플러그인)를 한 번에 출시했습니다.
MiniCPM-Embedding(검색 모델)은 중국어 및 영어 교차 언어 검색에서 SOTA 성능을 달성했으며, 모델의 텍스트 임베딩 기능을 평가하는 MTEB 검색 목록에서 중국어 1위, 영어 13위에 올랐습니다.
MiniCPM-Reranker(재순위 모델)는 중국어, 영어 및 중국어-영어 교차 언어 테스트에서 SOTA 성능을 달성했습니다.
RAG 시나리오에 대한 LoRA 교육 후 MiniCPM 3.0-RAG-LoRA는 오픈 도메인 질문 답변(NQ, TQA, MARCO), 멀티 홉 질문 답변(HotpotQA), 대화(WoW), 사실 확인(FEVER) 및 정보 작성에서 우수한 성능을 발휘합니다. (T-REx) 및 기타 성능 작업으로 Llama3-8B 및 Baichuan2-13B와 같은 업계 최고의 모델을 능가합니다.
모델 애플리케이션이 구현되었습니다. 먼저 실행한 후 이에 대해 이야기해 보세요.
APPSO 및 기타 미디어와의 인터뷰에서 Wall-Facing Intelligence의 CEO인 Li Dahai는 애플리케이션을 실행할 수 있는 것과 진정으로 원활하게 애플리케이션을 만드는 것은 서로 다른 개념이라고 언급했습니다.
최적화된 MiniCPM 3.0은 최종 측 장치에 대한 리소스 요구 사항이 매우 낮습니다. 정량화 후에는 2.2G의 메모리만 필요하며 iPad 최종 측 추론도 18-20 토큰/초에 도달할 수 있습니다.
iPad와 같은 모바일 장치의 경우 초당 18~20개의 토큰을 처리할 수 있다는 것은 이미 모델이 자연어 입력을 실시간으로 처리할 수 있음을 의미합니다.
예를 들어, 음성 인식이나 실시간 번역 애플리케이션에서 사용자는 기본적으로 눈에 띄는 지연을 경험하지 않고 상대적으로 원활한 대화형 경험을 즐길 수 있습니다.
또한 클라우드 모델과 비교하여 엔드 사이드 모델인 MiniCPM 시리즈 모델은 약한 네트워크, 연결이 끊어졌을 때의 유용성, 초저 지연 시간, 데이터 개인 정보 보호 및 보안과 같은 로컬 이점도 자연스럽게 가지고 있습니다.
공가설산 근처를 여행할 때 "일조금산"을 즐길 수 있는 가장 좋은 위치를 알고 싶다면, 네트워크가 좋지 않다면 MiniCPM 3.0을 물어보세요.
또는 거친 해안에 서 있는 "바다 잡기"를 처음 시작하는 사람이지만 짐을 가득 실고 집으로 돌아가고 싶다면 MiniCPM 3.0에서 제공하는 제안을 따르는 것이 좋습니다. 밤하늘을 올려다보며 별의 궤적을 포착해야겠다는 생각이 떠오르면 MiniCPM 3.0이 그 장면의 디테일도 알려줄 수 있다.
MiniCPM 소형 강철 대포 시리즈의 급속한 발전 뒤에는 효율적인 대형 모델의 일관된 첫 번째 원칙이 있습니다.
Wall-Facing Intelligence의 수석 과학자인 Liu Zhiyuan은 대형 모델 시대에 '무어의 법칙'을 제안한 적이 있습니다. 즉, 대형 모델의 지식 밀도는 평균 8개월마다 두 배로 증가한다는 것입니다.
지식 밀도 = 계산에 포함된 모델 능력/모델 매개변수
구체적으로 모델의 지식 밀도가 계속 증가함에 따라 2020년 GPT-3의 175B 기능은 2024년 MiniCPM 2.4B 모델로 달성되고 ChatGPT에 내장된 GPT-3.5는 연말에 데뷔할 예정입니다. 2022년, 이는 2024년 MiniCPM 3.0 모델로 달성됩니다. .
이를 바탕으로 MiniCPM이 궁극의 엔드사이드 성능을 추구한다면 MiniCPM-V는 궁극의 멀티모달 혁신 성능을 추구한다. 벽면소형강대포의 발전은 일방적인 전진이 아닌 엔드의 동시진행이다. -사이드 듀얼 플래그십.
1~2년 간의 기술 탐구 끝에 대형 AI 모델이 점차 실용화 가능한 심해 영역으로 진입하고 있다.
Li Dahai는 대형 모델에는 두 가지 일반적인 가치가 있다고 믿습니다. 한 방향의 가치는 기존 세계를 업그레이드하는 것이고 두 번째 방향의 가치는 새로운 세계를 발견하는 것입니다.
예를 들어 Apple이 ChatGPT 서비스를 Apple Intelligence에 통합한 것이 대표적인 예입니다.
장치측 모델의 경우에도 마찬가지입니다. 휴대폰, 자동차, PC와 같은 시나리오에서는 단말기 제조업체에 서비스를 잘 제공하고 단말기 제조업체가 장치측 모델을 사용하도록 하는 것이 더 적합합니다. 전체 시스템 수준 경험을 더 좋게 바꾸세요.
그러나 기술에서 제품으로의 스릴 넘치는 도약에서 제조업체는 사용자 요구와 기술을 통합하는 데에도 많은 시간을 투자해야 합니다.
Li Dahai가 말했듯이 모바일 인터넷은 iPhone의 출현 이후부터 존재했지만 실제적인 대규모 성장과 검증된 애플리케이션은 몇 년이 지나서야 나타나기 시작했습니다.
실제로 벽을 향한 지능은 실제 적용 시나리오를 탐구해 왔습니다.
이전에는 벽을 향한 MiniCPM 엔드사이드 모델이 실제로 PC, 태블릿, 휴대폰 및 기타 분야에서 실행되었습니다.
얼마 전 Wall-Facing Intelligence도 WAIC에 합류하여 로봇의 진화를 가속화하고 완전한 "구현된 지능"을 위한 선구적인 솔루션을 만들었습니다. 이는 또한 휴머노이드 로봇에서 실행되는 효율적인 엔드사이드 모델에 대한 업계 최초의 시연입니다. 물리적 세계를 이해하고, 추론하고, 상호작용하는 지능형 시스템입니다.
Li Dahai는 또한 APPSO 및 기타 매체에 벽면 스마트 엔드투사이드 모델을 탑재한 제품이 연말 이전에 출시될 예정이라고 밝혔습니다.
요컨대 벽을 향한 지능은 계속해서 사용자에게 가장 가까운 고효율 및 고성능 대형 모델을 배치하여 전기, 유비쿼터스, 보편적이고 안전한 대형 모델의 기능을 마음대로 사용할 수 있도록 합니다.
이 과정에서 더 많은 사람들이 대형 모델의 가치와 기능을 최대한 빠르게 누릴 수 있게 됩니다.
MiniCPM 3.0 오픈 소스 주소:
GitHub: 
https://github.com/OpenBMB/MiniCPM
포옹하는 얼굴: https://huggingface.co/openbmb/MiniCPM3-4B
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo