대형 모델을 휴대폰에 담으려면 몇 단계를 거쳐야 할까요?
2023년이 생성 AI가 폭발적으로 증가하는 첫 해라면, 올해 다양한 제조업체가 대형 최종 모델에 전적으로 투자한다는 보기 드문 합의에 도달했습니다.
"효율적인 대형 모델"을 전문으로 하는 새로운 AI 회사인 Wallface Intelligence는 오늘 가장 강력한 엔드사이드 다중 모드 오픈 소스 모델 MiniCPM-Llama3-V 2.5를 출시하여 다시 한번 힘을 뽐내고 있습니다.
- 가장 강력한 엔드사이드 멀티모달 종합 성능: 멀티모달 거대 기업인 Gemini Pro 및 GPT-4V를 능가함
- OCR 기능 SOTA! 9배 더 선명한 픽셀로 인해 긴 이미지와 긴 텍스트를 정확하게 인식하기 어렵습니다.
- 이미지 인코딩이 150배 빨라졌습니다! 최초의 엔드 측 시스템 수준 다중 모드 가속
GPT-4V를 압도하는 국산 '소형 강철포' 세 번째 총알이 여기에 있다
인간이 세상을 탐색하기 위해 오감을 사용하는 것처럼, 다중 모드 기능은 AI 진화의 필수 과정입니다.
8B 엔드사이드 모델만으로 "크고 작은" MiniCPM-Llama3-V 2.5는 평가 플랫폼 OpenCompass에서 65.1점을 얻었습니다. 이는 비공개 소스 모델인 Qwen-VL-Max와 비교할 수 있을 뿐만 아니라, 전반적인 성능도 헤비급 플레이어 GPT-4V 및 Gemini Pro를 능가합니다.
OCR(광학 문자 인식)의 종합 벤치마크 테스트에서 MiniCPM-Llama3-V 2.5는 725점을 달성하여 GPT-4V를 큰 폭으로 앞섰고 Claude 3V Opus와 같은 도약 모델을 능가했습니다.
환각 능력은 단기간에 대형 모델을 괴롭히는 가장 큰 고질적인 문제입니다. MiniCPM-Llama3-V 2.5도 이 문제를 개선했습니다.
Object HalBench 벤치마크 테스트에 반영된 환각률은 MiniCPM-V 2.0(2B)의 14.5에서 10.3으로 급격히 감소하여 다시 한번 GPT-4 V 및 LLaVA-NeXT-34B를 능가했습니다.
RealWorldQA 벤치마크는 모델의 현실 이해를 테스트하는 것입니다.
MiniCPM-Llama3-V 2.5는 InternVL-Chat-V1.5(26B)에 이어 두 번째인 63.5점의 답안지를 제공했지만 여전히 GPT-4V 및 Gemini Pro를 능가했습니다.
MiniCPM-Llama3-V 2.5는 자체 개발한 고화질 이미지 효율적인 인코딩 기술을 기반으로 180만 개의 고화질 픽셀 이미지에 대한 효율적인 인코딩 및 무손실 인식을 지원하며 1:9의 극한 비율 이미지까지 모든 화면비를 지원합니다. .그것은 단지 케이크 조각에 불과합니다.
"볼 수 있는 것"은 시작일 뿐이며, 더 중요한 것은 "생각하는" 방법을 아는 것입니다. MiniCPM-Llama3-V 2.5는 복잡한 추론 능력을 새로운 차원으로 끌어올렸습니다.
관계자들은 "삼체 문제"의 유명한 인용문이 새겨진 예술적인 건물의 예를 고려할 때 일반 대형 모델은 이미지의 모델을 대략적으로만 설명할 수 있지만 MiniCPM-Llama3-V 2.5는 이를 "삼체 문제"와 연관시킬 수 있다고 말했습니다. 삼체문제'라는 인식된 정보를 바탕으로 한 책이다.
▲MiniCPM-Llama3-V 2.5
▲GPt-4V
자신만의 통찰력을 제공할 수도 있습니다. 이 건물은 아마도 소설과 중국 공상 과학 문학에 대한 공헌을 기념하기 위해 설계되었을 것입니다.
또는 Asian Diet Pyramid의 영어 버전을 제공하면 즉시 개인 영양사가 되어 일주일 동안의 요리법을 맞춤화할 수 있습니다.
긴글을 읽기 힘드신 분들은 MiniCPM-Llama3-V 2.5에 맡겨보시고 질문을 하시면 최대한 빨리 답변해드리겠습니다.
이제 MiniCPM-Llama3-V 2.5는 독일어, 프랑스어, 스페인어, 이탈리아어, 러시아어 및 기타 주류 언어를 포함하여 30개 이상의 언어를 지원합니다. 일대일로 국가의 언어는 기본적으로 여러분의 손끝에 있습니다.
MiniCPM-Llama3-V 2.5는 실제로 오픈 소스 모델 Llama3-8B-Instruct를 기반으로 미세 조정된 모델이라는 점에 유의해야 합니다.
과거에는 AI가 이미지, 텍스트 등 서로 다른 정보를 동시에 빠른 속도로 처리하도록 하는 것이 큰 문제였습니다. 그러나 Wall-Facing Intelligence는 NPU 가속 프레임워크를 채택하여 이를 가속화합니다. 이미지 처리를 통해 AI가 휴대폰에서 더욱 효율적으로 작동하도록 촉진합니다.
공식 소개에 따르면 벽면은 처음으로 엔드사이드 시스템 가속만 수행할 수 있습니다. 현재 MiniCPM-Llama3-V 2.5는 휴대폰에 효율적으로 배포되었으며 이미지 인코딩에서 150배 가속을 달성했습니다.
예를 들어 휴대폰에서 Llama 3 언어 모델의 디코딩 속도는 약 0.5 토큰/s인 반면, 다중 모드 모델 MiniCPM-Llama3-V 2.5는 다중 최적화를 통해 휴대폰의 언어 디코딩 속도를 3으로 향상했습니다. CPU와 같은 방법. -4 토큰/초.
첨부된 MiniCPM-Llama3-V 2.5 오픈 소스 주소는 다음과 같습니다. 
https://github.com/OpenBMB/MiniCPM-V
단말기 모델, 휴대폰 제조사의 전쟁터
지난 2년 동안 주요 단말기 제조업체의 음성 PPT에 장치측 모델이 자주 등장했습니다.
소위 엔드사이드 모델은 단말 장치에서 실행되는 인공 지능 모델입니다. 이러한 모델은 일반적으로 최종 장치의 컴퓨팅 성능과 리소스 제약을 수용할 수 있을 만큼 가볍도록 설계됩니다.
GPT-4가 온라인화 된 후 "AI 대부" Geoffrey Hinton은 대규모 컴퓨팅 성능을 갖춘 컴퓨터에서 훈련하는 단계가 있을 것이라고 지적한 적이 있습니다. 모델이 훈련되면 저전력 장치에서 실행될 수 있습니다. .
엔드 사이드 모델의 특징은 데이터를 원격 서버로 전송하지 않고도 장치 측(예: 스마트폰, 임베디드 시스템 등)에서 실행하여 데이터를 처리하고 결정을 내릴 수 있다는 것입니다.
위의 단어를 분리하면 엔드사이드 모델의 장점을 발견할 수 있습니다.
- 로컬 실행: 모델이 원격 서버에 의존하지 않고 장치에서 로컬로 실행됩니다.
- 실시간 처리: 장치에서 실시간으로 데이터를 처리하여 빠른 응답을 제공하는 기능입니다.
- 낮은 대기 시간: 장치와 서버 간에 데이터를 전송할 필요가 없으므로 대기 시간이 짧습니다.
- 개인 정보 보호: 데이터가 로컬에서 처리되므로 데이터 유출 위험이 줄어들고 개인 정보 보호가 강화됩니다.
- 네트워크 독립성: 엔드사이드 모델은 네트워크 연결 없이도 작동합니다.
- 리소스 최적화: 일반적으로 최종 측 모델은 단말 장치의 제한된 컴퓨팅 리소스와 저장 공간에 적응하도록 최적화되어야 합니다.
- 다양한 장치에 적용 가능: 클라이언트 측 모델은 스마트폰, 스마트 홈 장치, 웨어러블 장치 등을 포함하되 이에 국한되지 않는 다양한 유형의 단말 장치에 배포될 수 있습니다.
- 소형화 및 최적화: 모델 크기를 줄이고 운영 효율성을 향상시키기 위해 모델은 압축, 가지치기, 양자화 및 기타 기술 프로세스를 거쳐야 할 수 있습니다.
물론 클라이언트 측 대형 모델과 클라우드 대형 모델은 대립의 산물이 아니라 시너지 효과를 낸다.
그래서 우리는 Llama 3, Claude와 같은 대형 모델이 본격적으로 개발되고 있는 동안 최종 모델에 대한 연구가 뒤처지지 않았음을 알 수 있습니다.
NVIDIA 과학자 JImFan은 최신 GPT-4o가 증류식 소형 모델일 가능성이 높으며 더 세련되고 효율적이라는 장점이 분명하다고 지적했습니다.
지난달 마이크로소프트가 출시한 파이-3(Phi-3), 월페이스 인텔리전스(Wallface Intelligence)가 출시한 고성능 소형 강철대포 시리즈, 최근 애플이 오픈소스로 발표한 모델 OpenELM 시리즈 등 새로운 소형 모델들이 꾸준히 출시되고 있다.
2024년은 AI 애플리케이션 구현에 중요한 해이며, 기기 측 모델도 추진력을 얻고 올해 빛날 준비를 하고 있습니다.
논쟁의 여지가 없는 사실은 대부분의 최신 단말기 혁신이 병목 현상 기간에 도달했다는 것입니다. 우리 몸에서 '성장'하는 휴대폰을 예로 들어보자. 스티브 잡스가 아이폰을 꺼냈을 때의 놀라움과 혁신의 느낌은 기나긴 세월 속에서 사라진 지 오래다.
AI를 기반으로 한 단말 혁신이라는 명제는 그것이 현실보다 더 기믹이든, 미래 기술을 활용해 현재에 '돈을 주는 것'이든 관계없이 실제로 휴대폰 등 기기의 상상력을 더욱 자유롭게 펼칠 수 있고, 이를 깨뜨릴 수 있는 핵심 포인트가 될 수 있다. 게임.
이러한 추세에 따라 기기측 모델은 더 이상 이론적인 논의나 제조사 브로셔에만 남아 있는 개념이 아니라 점차 우리의 일상생활에 침투하기 시작했습니다.
작년 8월 HamonyOS 4 컨퍼런스에서 Yu Chengdong은 스마트 비서 Xiaoyi가 대형 AI 모델에 접근할 수 있는 능력을 발표했습니다. 직후 레이준은 샤오미가 휴대폰에서 1.3B 매개변수를 갖춘 대형 모델을 실행했으며 일부 장면의 효과가 클라우드의 효과와 비슷하다고 밝혔습니다.
'유우지아' 국산 휴대폰은 하나도 남지 않았습니다. AndersGPT를 기반으로 한 OPPO Xiaobu Assistant, 7B 단말기 측 AI 대형 모델을 탑재한 Honor Magic 6, Blue Heart 대형 모델 매트릭스를 탑재한 vivo도 차례로 공식 발표되었습니다.
오늘 아침 이른 시간, Bloomberg 기자 Mark Gurman은 Apple이 Siri의 음성 기능을 개선하여 더욱 대화 가능하게 만들고 사용자가 일상 생활을 처리하는 데 도움이 되는 다음과 같은 기능을 추가할 것이라는 소식을 전했습니다.
- iPhone 알림을 자동으로 요약합니다.
- 뉴스 기사 요약
- 음성 메모 녹음
- 캘린더 자동 완성 및 앱 추천을 위한 기존 기능 개선
- AI 편집 사진
핵심 음성 비서인 Siri의 경우 향후 OpenAI나 Gemini의 기기측 모델과 긴밀하게 연결될 가능성이 높습니다.
인기 AI 하드웨어인 래빗 R1이 안드로이드 셸이라는 의혹이 제기되고 있지만 기자간담회에서 보여준 모습은 애플리케이션 간 장벽이 없고 원활한 상호작용이 가능한 시스템인 AI 폰의 이상적인 상태를 보여주는 프로필이기도 하다.
하지만 이런 상황이 하루아침에 일어나는 것은 아니다. AI 음성 비서가 실제로 사용자를 이해하고 예상대로 애플리케이션을 예약할 수 있다면 사용자 경험을 완전히 전복시킬 뿐만 아니라 휴대폰 제조업체와 제3자 간의 관계도 바뀔 것으로 예상된다. -파티 애플리케이션 개발자.
예를 들어 늘 폐쇄적이었던 애플이 이런 격변의 기술 변화에 맞서 적극적으로 개방을 수용하기 시작했다는 소식이 들려왔다.
Melius Research의 Ben Reitzes에 따르면 Apple은 다가오는 WWDC에서 AI 애플리케이션 전용 스토어를 출시할 것으로 예상됩니다. 이는 애플의 오픈 전략에 있어서 중요한 전환점이 될 뿐만 아니라, AI 시대에 따른 애플의 전략적 변혁을 알리는 분명한 신호이기도 하다.
이는 또한 Apple이 개방형 AI 생태계를 구축하여 개발자와 사용자를 위해 더 많은 가치를 창출하는 동시에 더 넓은 시장 공간을 확보하려고 노력하고 있음을 보여줍니다.
MiniCPM-Llama3-V 2.5와 같은 최종 모델은 집에 더 가까워서 그 강점을 입증했습니다. 이 모델은 "매개변수가 클수록 성능이 향상됩니다"를 가질 뿐만 아니라 가장 작은 매개변수로 가장 강력한 성능을 활용할 수 있습니다!
동시에, 생명에 들어가는 것은 첫 번째 단계에 불과합니다. 데이터의 여정이 0으로 단축되면 기기 측 모델을 통해 AI가 인간의 생각보다 한 단계 더 빠르게 반응할 수 있습니다. 이는 단말 장치의 다음 봄이 가능하다는 것을 의미할 수 있습니다. 정말 도착했어요.
그때쯤이면 사용자와 최종 제품 간의 모든 상호 작용이 비자발적인 "와우" 소리를 촉발하게 될 것입니다.
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo