모바일 월드 콩그레스 2024 에서 Qualcomm은 Android 휴대폰용 Snapdragon 시리즈 실리콘을 통해 촉진되는 AI-on-phone 트릭 포트폴리오에 더 많은 것을 추가하고 있습니다. 칩 제조업체는 이미 음성 활성화 미디어 편집, Stable Diffusion을 사용한 기기 내 이미지 생성, Meta와 같은 대규모 언어 모델 위에 구축된 더 스마트한 가상 비서 등 Snapdragon 8 Gen 3 플래그십 을 위한 몇 가지 인상적인 AI 기능을 선보였습니다.
오늘날 회사는 이러한 AI 초강대국에 더 많은 불평을 추가하고 있습니다. 첫 번째는 스마트폰에서 LLaVa(Large Language and Vision Assistant)를 실행할 수 있는 기능입니다. Google Lens 기능이 부여된 ChatGPT 와 같은 챗봇이라고 생각하세요. 이처럼 퀄컴의 솔루션은 텍스트 입력뿐 아니라 이미지 처리도 가능하다.
예를 들어, charcuterie 보드를 묘사한 이미지를 푸시하고 이를 기반으로 질문할 수 있습니다. 70억 개 이상의 매개변수를 처리할 수 있는 대형 멀티모달 모델(LMM)을 기반으로 하는 AI 비서는 아래 입력 이미지에 표시된 보드 위의 모든 종류의 과일, 치즈, 고기, 견과류를 알려줍니다.
또한 후속 쿼리를 처리할 수 있으므로 앞뒤로 흐르는 대화를 수행할 수 있습니다. 이제 ChatGPT와 같은 기능에도 다중 모드 기능이 추가되었습니다. 이는 OpenAI 도구가 이미지 입력도 처리할 수 있음을 의미합니다. 그러나 결정적인 차이점이 있습니다.
ChatGPT 및 Copilot 과 같은 제품은 여전히 클라우드 기반 아키텍처에 묶여 있습니다. 즉, 데이터가 원격 서버에서 처리됩니다. Qualcomm의 추진 방향은 온디바이스 처리 방향입니다. 모든 작업이 휴대폰에서 이루어지므로 전체 프로세스가 더 빨라지고 개인정보 침해 위험이 거의 없습니다.
Qualcomm은 "이 LMM은 장치에서 반응형 토큰 속도로 실행되므로 개인 정보 보호, 신뢰성, 개인화 및 비용이 향상됩니다."라고 말합니다. Qualcomm이 약속한 LLaVa 기반 가상 비서가 독립형 앱으로 출시될지, 아니면 유료로 제공될지는 아직 공식적으로 확인되지 않았습니다.
Qualcomm의 다음 발표에서는 이미지 생성 및 조작의 창의적인 영역에 대해 자세히 설명합니다. 얼마 전 Qualcomm은 Stable Diffusion 기술을 사용하여 휴대폰에서 세계에서 가장 빠른 텍스트-이미지 생성 기능을 시연했습니다. 오늘 회사는 LoRA 기반 이미지 생성을 처음으로 선보입니다.
LoRA는 Dall.E와 같은 일반 생성 AI 도구와는 다른 이미지 생성 접근 방식을 취합니다. LoRA(Low-Rank Adaptation)는 Microsoft 에서 개발한 기술입니다. AI 모델을 훈련하는 것은 비용이 상당히 많이 들고 대기 시간이 길며 특히 하드웨어 관점에서 까다로울 수 있습니다.
LoRA의 기능은 모델의 특정 부분에만 집중하고 훈련 목적으로 매개변수 수를 줄임으로써 달성되는 목표인 모델 가중치를 극적으로 줄이는 것입니다. 이렇게 하면 메모리 요구 사항이 줄어들고 프로세스가 더 빨라지며 텍스트-이미지 모델을 적용하는 데 소요되는 시간과 노력도 크게 줄어듭니다.
시간이 지남에 따라 텍스트 프롬프트에서 이미지를 생성하기 위해 LoRA 증류 기술이 Stable Diffusion 모델에 적용되었습니다. LoRA 기반 모델의 효율성 향상과 보다 쉬운 적응성으로 인해 스마트폰을 위한 맞춤형 경로로 간주됩니다. Qualcomm은 확실히 그렇게 생각하고 있으며, 경쟁사인 MediaTek도 자사의 주력 제품인 Dimensity 9300 칩 에서 생성 AI 트릭을 위해 동일한 솔루션을 채택했습니다.
Qualcomm은 MWC 2024에서 몇 가지 다른 AI 기술도 선보일 예정이며, 그 중 일부는 이미 Samsung Galaxy S24 Ultra에 등장했습니다 . 그 중에는 생성적 AI 채우기 및 AI 기반 비디오 생성을 사용하여 이미지의 캔버스를 확장하는 기능이 있습니다. 후자는 매우 야심적입니다. 특히 OpenAI가 Sora를 통해 달성한 것을 본 후에는 더욱 그렇습니다. Qualcomm이 어떻게 이를 스마트폰으로 이식하는지 보는 것은 흥미로울 것입니다.