오늘 이른 아침, 26분간의 기자간담회는 다시 한 번 AI 산업과 우리 미래의 삶을 크게 변화시킬 것이며, 수많은 AI 스타트업도 비참하게 만들 것입니다.
이것은 OpenAI 기자 회견이기 때문에 실제로 헤드라인이 아닙니다.
방금 OpenAI는 "o"가 "omni"(포괄적이고 전능함을 의미함)를 의미하는 GPT-4o를 공식 출시했습니다. 이 모델은 텍스트, 사진, 비디오 및 음성 기능도 갖추고 있습니다. 미완성 버전.
또한 이 GPT-4 레벨 모델은 모든 사용자에게 무료로 제공될 예정이며 앞으로 몇 주 안에 ChatGPT Plus에 출시될 예정입니다.
먼저 이번 컨퍼런스의 주요 내용을 한 번에 요약해 보겠습니다. 자세한 기능 분석은 아래를 읽어보시기 바랍니다.
기자회견 주요 내용
- 새로운 GPT-4o 모델: 텍스트, 오디오 및 이미지의 모든 입력을 열고 중간 변환 없이 서로 직접 생성할 수 있습니다.
- GPT-4o는 음성 대기 시간을 크게 줄였으며 오디오 입력에 232밀리초(평균 320밀리초)로 응답할 수 있습니다. 이는 대화에서 인간의 응답 시간과 유사합니다.
- GPT-4는 무료이며 모든 사용자에게 공개됩니다.
- GPT-4o API, GPT4-turbo보다 2배 빠르고 50% 저렴
- 놀라운 실시간 음성 어시스턴트 시연: 대화는 인간과 유사하며 실시간 번역, 표정 인식, 카메라를 통한 화면 인식, 코드 작성 및 차트 분석이 가능합니다.
- ChatGPT 새로운 UI, 더욱 간결해졌습니다.
- macOS용 새로운 ChatGPT 데스크탑 앱(Windows 버전은 올해 말 출시 예정)
Altman은 이러한 기능을 워밍업 단계 초기에 "마법 같은 느낌"이라고 설명했습니다. 전 세계 AI 모델이 "GPT-4를 따라잡고" 있기 때문에 OpenAI는 무기고에서 실제 기능을 끌어내야 합니다.
무료 및 사용 가능한 GPT-4o가 여기에 있지만 이것이 가장 큰 하이라이트는 아닙니다.
실제로 우리는 기자회견 전날 OpenAI가 GPT-4에 대한 설명을 '가장 진보된 모델'에서 '고급'으로 조용히 변경했다는 사실을 발견했습니다.
이는 GPT-4o의 도착을 환영하는 것입니다. GPT-4o의 장점은 텍스트, 오디오 및 이미지의 모든 조합을 입력으로 받아들이고 위의 미디어 출력을 직접 생성할 수 있다는 것입니다.
이는 인간과 컴퓨터의 상호작용이 사람 간의 자연스러운 의사소통에 더 가까워진다는 것을 의미한다.
GPT-4o는 232밀리초 안에 오디오 입력에 응답할 수 있으며, 평균 320밀리초는 인간 대화의 반응 시간에 가깝습니다. 이전에 ChatGPT와 통신하기 위해 음성 모드를 사용했을 때 평균 지연 시간은 2.8초(GPT-3.5)와 5.4초(GPT-4)였습니다.
영어 및 코드 텍스트에 대한 GPT-4 Turbo의 성능과 일치하며 영어가 아닌 언어 텍스트에 대한 상당한 개선이 이루어졌으며 API에서는 더 빠르고 50% 저렴합니다.
기존 모델과 비교하여 GPT-4o는 시각적 및 청각적 이해에서 특히 뛰어난 성능을 발휘합니다.
- 대화 중에 언제든지 중단할 수 있습니다.
- 장면에 따라 인간과 같은 분위기와 감정으로 다양한 톤 생성 가능
- AI와 직접 영상 통화를 하고, 온라인에서 다양한 질문에 답변해 보세요.
테스트 매개변수로 판단하면 GPT-4o의 주요 기능은 기본적으로 현재 가장 강력한 OpenAI인 GPT-4 Turbo와 동일한 수준입니다.
[그림]
[그림]
[그림]
과거에는 Siri나 다른 음성 비서에 대한 경험이 이상적이지 않았습니다. 기본적으로 음성 비서와의 대화는 세 단계를 거쳤습니다.
- 음성 인식 또는 "ASR": 오디오 -> 텍스트, Whisper와 유사합니다.
- LLM은 다음에 말할 내용을 계획합니다: 텍스트 1 -> 텍스트 2;
- 합성-음성 또는 “TTS”: 텍스트 2 -> 오디오, ElevenLabs 또는 VALL-E를 생각해 보세요.
그런데 우리 일상의 자연스러운 대화는 기본적으로 이렇습니다.
- 듣고 말할 때 다음에 무엇을 말할지 생각해 보십시오.
- 적절한 순간에 "예, 음, 음"을 삽입하세요.
- 상대방이 언제 말을 마치고 즉시 이어받을지 예상하십시오.
- 상대방의 대화를 자연스럽게, 그리고 원망을 일으키지 않고 중단시키겠다고 결심하십시오.
- 듣고 말할 때 다음에 무엇을 말할지 생각해 보십시오.
- 적절한 순간에 "예, 음, 음"을 삽입하세요.
- 우아하게 처리하고 중단하세요.
기존 AI 어시스턴트는 이러한 문제를 잘 처리하지 못했고, 대화의 3단계 각각에서 큰 지연이 발생해 경험이 좋지 않았습니다. 동시에 억양, 다중 화자, 배경 소음을 직접 관찰할 수 없고, 웃음이나 노래를 출력하거나 감정을 표현할 수 없는 등 그 과정에서 많은 정보가 손실됩니다.
오디오가 오디오, 이미지, 텍스트, 비디오를 직접 생성할 수 있다면 전체 경험은 비약적으로 발전할 것입니다.
GPT-4o는 이러한 목적을 위해 OpenAI에서 훈련한 새로운 모델입니다. 텍스트, 비디오 및 오디오를 직접 변환하려면 모든 입력과 출력이 동일한 신경망에서 처리되어야 합니다.
더욱 놀라운 점은 ChatGPT 무료 사용자가 GPT-4o를 사용하여 다음 기능을 경험할 수 있다는 것입니다.
- GPT-4 수준의 인텔리전스를 경험해 보세요
- 모델 및 네트워크로부터 응답 받기
- 데이터 분석 및 차트 만들기
- 찍은 사진에 대해 이야기해보자
- 초록, 글쓰기, 분석 도움말을 위한 파일 업로드
- GPT 및 GPT Store 사용
- 메모리로 더욱 유용한 경험 구축
그리고 다음 GPT-4o 시연을 보면 감정이 더욱 복잡해질 수 있습니다.
ChatGPT 버전 "Jarvis", 누구나 갖고 있습니다
ChatGPT는 말하고 들을 수 있을 뿐만 아니라 시청도 할 수 있습니다. 이것은 새로운 것이 아니지만 ChatGPT의 "새 버전 출시"는 여전히 저를 놀라게 했습니다.
잠자는 파트너
특정 생활 장면을 예로 들면, ChatGPT가 로봇과 사랑에 대한 취침 시간 이야기를 들려주도록 하세요. 별 생각 없이 감성적이고 드라마틱한 취침 시간 이야기를 들려줄 수 있습니다.
노래 형태로 이야기를 전달할 수도 있어 사용자의 수면 동반자 역할을 할 수도 있습니다.
질문 마스터
또는 기자회견에서 선형 방정식 3X+1=4를 푸는 데 도움이 되는 방법을 단계별로 안내하고 정답을 제공할 수 있습니다.
물론 위의 내용은 여전히 '어린아이 놀이'에 불과하며 현장 코딩의 어려움은 실제 테스트입니다. 하지만 3스트라이크, 5스트라이크, 2스트라이크로 쉽게 해결할 수 있다.
ChatGPT의 "비전"을 사용하면 코드 베이스와 상호 작용하고 코드에서 생성된 차트를 보는 등 컴퓨터 화면에서 모든 것을 볼 수 있습니다. 그렇다면 앞으로는 우리의 사생활이 확실히 드러나지 않을까요?
실시간 번역
현장에 있던 관객들도 ChatGPT에 까다로운 질문을 던졌습니다.
영어에서 이탈리아어로, 이탈리아어에서 영어로 번역하는 것은 아무리 AI 음성비서를 사용해도 쉽게 할 수 있어 번역기를 구입하는데 많은 돈을 쓸 필요가 없을 것 같습니다. 미래에는 ChatGPT가 실시간보다 더 나을 수도 있습니다. 번역가는 꽤 신뢰할 만합니다.
현재 이 콘텐츠는 Feishu 문서 외부에 표시될 수 없습니다.
▲ 실시간 번역 (공식 홈페이지 사례)
언어의 감정을 인식하는 것은 첫 번째 단계일 뿐입니다. ChatGPT는 인간의 얼굴 감정도 해석할 수 있습니다.
기자간담회에서 ChatGPT는 카메라에 포착된 얼굴을 테이블로 직접 착각했습니다. 모두가 뒤집힐 것이라고 생각했을 때, 먼저 켜진 전면 카메라가 테이블을 겨냥했기 때문인 것으로 밝혀졌습니다. .
하지만 결국 셀카 얼굴의 감정을 정확하게 표현했고, 얼굴의 '밝은' 미소도 정확하게 식별했다.
흥미롭게도, 기자회견이 끝날 때 대변인은 Nvidia와 창립자 Lao Huang의 Cue의 "강력한 지원"을 잊지 않았습니다. 그는 인간 본성을 정말로 이해하고 있습니다.
대화형 언어 인터페이스에 대한 아이디어는 믿을 수 없을 정도로 예언적이었습니다.
알트만은 이전 인터뷰에서 AI 영화 'Her'에 나오는 AI 비서와 유사한 AI 비서를 궁극적으로 개발하고 싶다고 밝힌 바 있으며, 오늘 오픈AI가 공개한 음성 비서가 실제로 현실로 다가오고 있다.
OpenAI의 최고 운영 책임자(COO)인 브래드 라이트캡(Brad Lightcap)은 얼마 전 미래에는 인간과 대화하는 것과 같은 방식으로 AI 챗봇과 대화하고 그들을 팀의 일원으로 대할 것이라고 예측했습니다.
이제 이는 오늘 회의의 기틀을 마련했을 뿐만 아니라 앞으로 10년 후의 우리 삶에 생생한 각주가 된 것 같습니다.
애플은 13년 동안 AI 음성 비서와 씨름하며 미로에서 빠져나오지 못했지만, OpenAI는 하룻밤 사이에 출구를 찾았다. 가까운 미래에 아이언맨의 "자비스"는 더 이상 환상이 아닐 것으로 예상됩니다.
"그녀가오고있다
샘 알트만은 컨퍼런스에 참석하지 않았지만 컨퍼런스가 끝난 뒤 블로그에 X:her라는 글을 올렸다.
이것은 분명히 동명의 고전 공상 과학 영화 "Her"에 대한 암시입니다. 제가 이번 컨퍼런스의 발표를 볼 때 가장 먼저 떠오른 이미지였습니다.
영화 <Her> 속 사만다는 단순한 상품이 아니라, 인간보다 인간을 더 잘 이해하고 인간 그 자체에 더 가까운 존재다. 그녀와 소통하다 보면 점점 자신이 AI라는 사실을 잊어버리게 된다.
이는 Sam Altman이 자신의 블로그에서 말했듯이 인간-컴퓨터 상호 작용 모델이 그래픽 인터페이스 이후 진정으로 혁신적인 업데이트를 가져올 수 있음을 의미합니다.
새로운 음성(및 비디오) 모드는 제가 사용해 본 최고의 컴퓨터 인터페이스입니다. 마치 영화 속 AI 같은 느낌이 들지만, 아직도 그것이 현실이라는 사실에 조금 놀랐습니다. 인간 수준의 응답 시간과 표현력에 도달한 것은 큰 변화입니다.
이전 ChatGPT를 통해 우리는 자연스러운 사용자 인터페이스의 시작을 볼 수 있었습니다. 무엇보다도 단순함: 복잡성은 자연스러운 사용자 인터페이스의 적입니다. 모든 상호작용은 설명이 필요 없이 자체적으로 이루어져야 하며 지침 매뉴얼이 필요하지 않습니다.
하지만 오늘 출시된 GPT-4o는 반응 지연이 거의 없고, 스마트하고 흥미롭고 실용적입니다. 컴퓨터와의 상호 작용은 실제로 이렇게 자연스럽고 원활한 상호 작용을 경험한 적이 없습니다.
여기에는 여전히 엄청난 가능성이 숨겨져 있으며, 보다 개인화된 기능과 다양한 단말 장치와의 협업이 지원된다면 이전에는 불가능했던 많은 일을 휴대폰, 컴퓨터, 스마트 안경 및 기타 컴퓨팅 단말을 통해 수행할 수 있다는 의미입니다.
이제 더 흥미로운 점은 Apple이 다음 달 WWDC에서 OpenAI와의 협력을 공식 발표하면 최근 몇 년간의 어떤 컨퍼런스보다 iPhone 경험이 향상될 수 있다는 것입니다.
NVIDIA 수석 코드 과학자 Jim Fan은 역사상 가장 큰 업데이트로 알려진 iOS 18과 OpenAI 간의 협력이 세 가지 수준으로 이루어질 수 있다고 믿습니다.
- OpenAI는 Siri를 버리고 기기에서만 실행되는 소형 iOS용 GPT-4o를 개선했으며 클라우드 서비스를 사용하기 위해 업그레이드 비용을 지불할 수 있는 옵션도 제공합니다.
- 기본 기능은 카메라 또는 화면 스트림을 모델에 제공합니다. 신경 오디오 및 비디오 코덱에 대한 칩 수준 지원.
- iOS 시스템 수준의 운영 API 및 스마트 홈 API와 통합됩니다. 누구도 Siri 단축어를 사용하지 않지만 이제는 부활할 때입니다. 이는 즉시 10억 명의 사용자를 확보할 수 있는 AI 에이전트 제품이 될 수 있습니다. 이는 마치 Tesla와 같은 스마트폰용 풀사이즈 데이터 플라이휠과 같습니다.
그러고보니 내일 기자회견을 하는 구글이 안타깝네요.
저자: Li Chaofan, Mo Chongyu
# Aifaner: Aifaner(WeChat ID: ifanr)의 공식 WeChat 공개 계정을 팔로우하신 것을 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo