AI 챗봇 은 이미 이미지와 영상을 통해 세상을 '볼' 수 있습니다. 그러나 이제 Google은 Gemini Pro 의 최신 업데이트의 일부로 오디오-음성 기능을 발표했습니다. Gemini 1.5 Pro에서는 이제 챗봇이 시스템에 업로드된 오디오 파일을 "듣고" 텍스트 정보를 추출할 수 있습니다.
회사는 이 LLM 버전을 Vertex AI 개발 플랫폼에서 공개 미리보기로 제공했습니다. 이를 통해 더 많은 기업 중심 사용자가 이 기능을 실험하고 모델이 처음 발표된 2월의 비공개 출시 이후 기반을 확장할 수 있습니다. 이는 원래 제한된 개발자 그룹과 기업 고객에게만 제공되었습니다.
1. 긴 영상을 분해 + 이해하기
어젯밤 NBA 덩크 콘테스트 전체를 업로드하고 어떤 덩크가 가장 높은 점수를 받았는지 물었습니다.
Gemini 1.5는 긴 맥락의 비디오 이해를 통해 구체적인 완벽한 50덩크와 세부 사항을 믿을 수 없을 만큼 찾아낼 수 있었습니다! pic.twitter.com/01iUfqfiAO
— 로완 청(@rowancheung) 2024년 2월 18일
Google은 현재 라스베이거스에서 진행 중인 Cloud Next 컨퍼런스 에서 업데이트에 대한 세부 정보를 공유했습니다. Gemini Advanced 챗봇을 지원하는 Gemini Ultra LLM을 Gemini 제품군 중 가장 강력한 모델로 명명한 후 Google은 이제 Gemini 1.5 Pro를 가장 유능한 생성 모델로 부르고 있습니다. 회사는 이 버전이 모델을 추가로 조정하지 않고도 학습에 더 좋다고 덧붙였습니다.
Gemini 1.5 Pro는 TV 프로그램, 영화, 라디오 방송, 전화 회의 녹음 등 다양한 유형의 오디오를 텍스트로 해석할 수 있다는 점에서 다중 모드입니다. 여러 다른 언어로 오디오를 처리할 수 있다는 점에서 다국어이기도 합니다. LLM은 비디오에서 성적표를 만들 수도 있습니다. 그러나 TechCrunch에서 언급했듯이 품질은 신뢰할 수 없을 수 있습니다.
Google은 처음 발표했을 때 Gemini 1.5 Pro가 원시 데이터를 처리하기 위해 토큰 시스템을 사용했다고 설명했습니다. 백만 개의 토큰은 약 700,000개의 단어 또는 30,000줄의 코드에 해당합니다. 미디어 형식으로 보면 비디오 1시간, 오디오 11시간 정도입니다.
LLM이 비디오 대본에서 특정 순간을 찾을 수 있는 방법을 보여주는 Gemini 1.5 Pro의 비공개 미리보기 데모가 있었습니다. 예를 들어, AI 열성가인 Rowan Cheung은 위에 포함된 트윗에서 볼 수 있듯이 초기에 액세스하여 자신의 데모가 어떻게 스포츠 대회에서 정확한 액션 샷을 찾고 이벤트를 요약했는지 자세히 설명했습니다.
그러나 Google은 United Wholesale Mortgage, TBS 및 Replit를 포함한 다른 얼리 어답터들이 모기지 인수, 메타데이터 태깅 자동화, 코드 생성, 설명 및 업데이트와 같은 보다 기업 중심의 사용 사례를 선택하고 있다고 지적했습니다.