작은 것에서 큰 변화를 만들어내는 감동적인 이야기는 기업가 정신의 역사뿐만 아니라 대규모 엔드투엔드 모델에서도 발생합니다.
올해 2월 Wall-facing Intelligence는 2B 플래그십 엔드사이드 대형 모델 Wall-facing MiniCPM을 공식 출시했습니다. 이는 "OpenAI 유럽 버전"의 성능 벤치마크를 능가했을 뿐만 아니라 전반적으로 Google Gemma보다 앞섰습니다. 2B급, 심지어 볼륨 면에서는 7B, 13B를 넘어섰으며, Llama2-13B 등 레벨 모델도 보유하고 있습니다.
최근 Wall-Facing Intelligence는 Primavera Ventures와 Huawei Hubble, 베이징 인공 지능 산업 투자 기금 등이 주도하는 수억 위안의 새로운 자금 조달 라운드를 완료했습니다. Zhihu는 전략적 주주로서 계속해서 투자 및 지원을 하고 있으며, 투자 가속화에 최선을 다하고 있습니다. 대형 모델의 효율적인 교육과 신속한 애플리케이션 구현을 촉진합니다.
오늘은 좌우 대형 모델 벽면 MiniCPM 소형 강철 대포가 승리를 쫓고 두 번째 4발 시리즈를 열었습니다. 주요 주제는 "작지만 강하고, 작지만 완전하다"입니다.
그 중 MiniCPM-V2.0 다중 모달 모델은 OCR 기능을 대폭 강화하고 오픈 소스 모델의 최고의 OCR 성능을 새롭게 개선했으며 일반 장면 텍스트는 Gemini-Pro와 비슷하며 전체 13B 모델 시리즈를 능가합니다.
대형 모델 환상을 평가하는 Object HalBench 목록에서 MiniCPM-V2.0과 GPT-4V는 거의 동일한 성능을 발휘합니다.
11개의 주류 평가 벤치마크를 결합한 OpenCompass 목록에서 MiniCPM-V2.0 다중 모드 모델 일반 기능은 Qwen-VL-Chat-10B, CogVLM-Chat-17B, Yi-VL-34B 등을 55.0점으로 능가합니다. 더 큰 모델.
공식 시연 사례에서 같은 사진의 장면을 자세히 묘사해 달라는 요청에 GPT-4V는 6개의 환각으로 응답한 반면 MiniCPM-V2.0은 3개의 환각만 나타냈다.
또한 MiniCPM-V2.0은 칭화대학교 박물관의 보물인 칭화 슬립(Tsinghua Slips)을 공동으로 탐색하기 위해 칭화대학교와 심도 있는 협력을 시작했습니다.
MiniCPM-V2.0은 강력한 다중 모드 인식 및 추론 기능 덕분에 간단한 단어 "ke" 인식인지 복잡한 단어 "I" 인식인지 쉽게 처리할 수 있습니다.
유사한 중국 벤치마크 다중 모드 대형 모델과의 경쟁에서 MiniCPM-V2.0의 인식 정확도는 훨씬 앞서 있습니다.
정확한 세부 사항을 인식하려면 이미지의 선명도에 대한 요구 사항이 더 높으며 기존의 대형 모델은 일반적으로 448×448 픽셀의 작은 이미지만 처리할 수 있으며 정보가 압축되면 모델을 읽기가 어려워집니다.
하지만 MiniCPM-V2.0에서는 문제가 되지 않습니다. 공식 시연 사례에서 일반 도시 거리 풍경 사진을 마주한 MiniCPM-V2.0은 육안으로 감지하지 않고도 핵심 정보를 한눈에 포착할 수 있습니다." 훼미리마트'도 쉽게 캡쳐할 수 있다.
긴 이미지에는 풍부한 텍스트 정보가 포함되어 있으며 다중 모드 모델은 긴 이미지를 인식하지 못하는 경우가 많지만 MiniCPM-V 2.0은 긴 이미지의 핵심 정보를 확실하게 파악할 수 있습니다.
448×448 픽셀부터 180만 개의 고화질 대형 이미지, 심지어 1:9(448 * 4032)의 궁극적인 화면비까지 MiniCPM-V 2.0은 무손실 인식을 달성할 수 있습니다.
MiniCPM-V 2.0 고화질 이미지의 효율적인 인코딩 뒤에는 독점적인 기술인 LLaVA-UHD가 실제로 사용되는 것으로 이해됩니다.
- 모듈식 시각적 인코딩: 원본 해상도 이미지를 다양한 크기의 조각으로 나누어 픽셀 패딩이나 이미지 왜곡 없이 원본 해상도에 완벽하게 적응할 수 있습니다.
- 시각적 압축 모듈: 공유 퍼셉트론 리샘플링 레이어를 사용하여 이미지 조각의 시각적 토큰을 압축합니다. 토큰 수는 해상도에 관계없이 저렴하고 계산 복잡성이 낮습니다.
- 공간 수정 방법: 자연어 기호의 간단한 패턴을 사용하여 이미지 조각의 상대적 위치를 효과적으로 알립니다.
중국 OCR 기능 측면에서도 MiniCPM-V 2.0은 GPT-4V를 크게 능가합니다. GPT-4V의 "무력함"과 비교하면 이미지를 정확하게 식별하는 능력은 더욱 가치가 있습니다.
이 기능 뒤에는 중국 분야의 고품질, 대규모 다중 모드 데이터 부족 문제를 해결할 수 있는 교차 모드 및 교차 언어 일반화 기술이 지원됩니다.
긴 텍스트를 처리하는 능력은 항상 모델을 측정하는 중요한 기준이었습니다.
128K 긴 텍스트 기능은 새로운 것이 아니지만 2B에 불과한 MiniCPM-2B-128K의 경우 이는 확실히 칭찬할 만한 기능입니다.
가장 작은 128K 긴 텍스트 모델인 MiniCPM-2B-128K 긴 텍스트 모델은 원래 4K 컨텍스트 창을 128K로 확장하여 InfiniteBench 목록의 Yarn-Mistral-7B-128K와 같은 7B 모델 수를 능가합니다.
MoE 아키텍처를 도입함으로써 새로 출시된 MiniCPM-MoE-8x2B MoE 성능은 전체 7B 모델 시리즈와 LlaMA234B 등 대형 모델을 능가하는 평균 4.5% 향상되었으며 추론 비용은 Gemma-69.7%에 불과합니다. 7B.
MiniCPM-1.2B는 "작음"과 "강력함"이 상호 배타적이지 않음을 증명합니다.
직접 매개변수가 절반으로 감소했음에도 불구하고 MiniCPM-1.2B는 여전히 이전 세대 2.4B 모델의 종합 성능의 87%를 유지합니다. 여러 공개 권위 테스트 목록에서 1.2B 모델은 매우 유능하며 종합 성능은 Qwen 1.8B 및 Qwen 1.8B Llama 2-7B 및 Llama 2-13B에서도 탁월한 결과를 얻었습니다.
iPhone 15 휴대폰에서 MiniCPM-1.2B 모델의 화면 녹화 시연 결과 추론 속도가 38% 향상되었습니다. 인간의 말하기 속도보다 15~25배 빠른 초당 25토큰/초에 도달했으며, 동시에 메모리는 51.9%, 비용은 60% 감소하고 구현 모델이 더 작아졌습니다. 그러나 사용 시나리오는 크게 증가합니다.
대규모 매개변수 모델을 추구하면서 Face Wall Intelligence는 가능한 한 더 작은 크기와 더 강력한 성능을 갖춘 모델을 개발하는 고유한 기술 경로를 선택했습니다.
벽면을 향한 MiniCPM 소형 강철 대포의 뛰어난 성능은 '작음'과 '강함', '작음'과 '가득함'이 상호 배타적인 속성이 아니라 조화롭게 공존할 수 있음을 충분히 입증합니다. 앞으로도 이러한 모델이 더 많이 등장하기를 기대합니다.
# aifaner 공식 위챗 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠를 최대한 빨리 제공해 드리겠습니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo