자율주행 기술이 그동안 발전해왔는데 가장 큰 변화는 무엇인가요?
이 글을 쓰기 전날, 자동차 업계의 두 친구가 Aifaner를 방문하여 우리와 함께 이야기를 나눴습니다. 제품 홍보부터 업계 일화까지 많은 이야기를 나눴고, 자율주행은 업계에서 뜨거운 논의의 한 분야로 자연스럽게 우리의 논의의 초점 중 하나로 자리 잡았습니다.
지난 수년간 자율주행의 발전을 되돌아보면 센서의 반복, 차량 측 컴퓨팅 성능의 향상, 고정밀 지도에서 점유 네트워크로의 전환 등 실제로 많은 변화가 있었습니다. 그러나 이러한 변화 중 가장 눈에 띄는 변화는 대형 모델의 추가이다.
대형 모델에서는 자율주행 기술을 쉽게 적용할 수 있습니다.
10월 23일, Li Auto의 차세대 듀얼 시스템 지능형 주행 솔루션 '엔드 투 엔드 + VLM'이 공식적으로 전면 출시되기 시작했습니다. 이후 Li Auto의 지능형 주행은 AI 대형 모델 시대에 진입했습니다.
인간처럼 생각하고 인간처럼 운전하는 것이 오늘날의 이상적인 자동차입니다.
드디어 end-to-end를 이해했다면 VLM이란 무엇일까요?
엔드투엔드란 정확히 무엇인가요? 어느 "끝"에서 어느 "끝"까지? 일반 소비자는 말할 것도 없고, 심지어 많은 미디어 종사자들조차 이를 파악하지 못하고 있다.
많은 제조업체에서 이에 대해 설명했는데, 가장 이해하기 쉬운 설명은 Li Auto입니다.
한쪽 끝에는 센서가 있습니다. 카메라, 라이더 및 기타 센서는 환경 정보 입력을 담당하는 인간의 눈과 같습니다. 또한 차량의 위치, 자세, 내비게이션 정보 등 특별히 고안된 입력 정보도 있습니다.
다른 쪽 끝은 주행 궤적입니다. 센서로부터 정보를 받은 후 시스템은 "동적 장애물", "도로 구조", "점유 네트워크 Occ" 및 "계획된 궤적"을 출력합니다. 처음 세 가지 인식 작업은 주로 화면을 통해 사용자에게 제시되며, 네 번째 "운전 궤적"은 궁극적으로 센서에서 매핑해야 하는 것입니다.
▲이상적인 스마트 드라이빙 엔드투엔드 아키텍처 다이어그램
정보를 수신하는 센서부터 주행 궤적을 출력하는 시스템까지의 과정이 우리가 운전하는 것과 매우 유사하다는 것을 찾는 것은 어렵지 않습니다. 우리의 눈은 정보를 수신하는 역할을 담당하고, 손은 자연스럽게 운전대를 움직여 차량을 가져옵니다. 올바른 궤도로.
예, 엔드투엔드 모델을 기반으로 이상적인 차세대 지능형 운전 시스템은 인간처럼 운전할 수 있습니다.
그동안 OEM과 자율주행 기업 모두 자사의 스마트 운전 시스템이 얼마나 인간과 같고 "경험이 풍부한 운전자"인지 지속적으로 홍보해 왔습니다. 하지만 '베테랑 드라이버'들이 익숙하게 여기는 일부 장면은 업계에서 오랫동안 해결하기 어려웠다.
가장 대표적인 것이 회전교차로 장면이다. 장면이 복잡하고 인지도가 제한적이어서 올해 7월 이전에는 '늙은 운전자'처럼 회전교차로에 출입할 수 있었던 자동차 회사는 거의 없었다.
이상적인 지능형 운전 기술 연구 개발 책임자인 Jia Peng은 Ai Faner와 Dong Chehui에게 인식과 제어를 분리하는 분할된 지능형 운전 솔루션의 경우 로터리 시나리오에서 인식 모델이 "다양한 작업"을 수행해야 한다고 말한 적이 있습니다. 모든 종류의 가정이 필요합니다.”
유턴을 하기 위해서는 유턴 선을 맞춰야 하는데 교차로마다 유턴이 같지 않고 곡률도 다르기 때문에 한 세트로 로터리에서 유턴을 모두 하기는 어렵습니다. 코드가 너무 많습니다.
통합된 엔드투엔드 솔루션은 복잡한 도로 구조를 이해하는 능력이 더 강력합니다. 인간 운전자 데이터를 사용하여 다양한 입구 및 출구에 대한 진입 및 출구 궤적을 훈련하고 적절한 이동 경로를 독립적으로 선택할 수 있습니다. .
이러한 방식으로 원래의 도로 토폴로지와 수동으로 정의된 규칙은 더 이상 필요하지 않습니다.
섬 일주에 관해서도 Jia Peng은 '재미있는 이야기'를 공유했습니다.
우리의 (모델 데이터가 포함된) 약 80만 개의 클립(비디오 클립)이 로터리를 횡단할 수 없었습니다. 그러던 어느 날 갑자기 100만 개의 클립이 (후에) 스스로 로터리를 횡단할 수 있다는 것을 발견한 것 같습니다. 100Wan이었습니다(비디오 클립). 우연히 거기에 로터리 데이터가 있습니다.
Jia Peng은 "이 모델은 실제로 매우 강력합니다. 사용자가 제공하는 모든 데이터를 학습할 수 있습니다. 이것이 모델의 매력입니다."라고 덧붙였습니다.
오늘 아이디얼이 출시한 정식 버전은 V4.8.6 모델을 기반으로 하며, 이는 400만 개의 클립을 기반으로 반복된 16번째 버전이다. 이전 모델에 비해 추월 시나리오 및 내비게이션 정보를 이해하는 능력이 향상되었습니다. 동시에 장애물 감지가 더 정확하고 우회 범위가 더 합리적입니다.
따라서 로터리뿐만 아니라 U턴, 교통 체증 속에서의 크롤링 및 게임, 교차로 등 기존의 복잡한 장면에서도 오늘날의 "엔드 투 엔드 + VLM" 지능형 주행 시스템은 이를 자율적으로 잘 처리할 수 있으며 P까지 지원합니다. 파일 활성화——
길가에 주차할 때 사용자가 레버를 두 번 클릭하면 스마트 드라이빙 시스템이 활성화됩니다. 더 이상 기존처럼 차선에서 활성화할 필요가 없습니다.
엔드투엔드 모델의 기능을 도입한 후 다음 단계는 VLM 모델입니다.
VLM 모델은 시각적 언어 모델입니다. Ideal은 자동차 측 칩에 시각적 언어 모델을 성공적으로 배포한 최초의 제조업체로, 자율 주행이 알 수 없는 시나리오에서 논리적으로 생각할 수 있는 능력을 제공합니다.
즉, 인간처럼 생각할 수 있습니다.
예를 들어, 주행 궤적을 생성할 수 있는 엔드투엔드 모델은 요금소를 완벽하게 통과할 수 있지만, 요금소를 마주하면 어느 차선으로 가야 할지 알 수 없고 결국 통과할 수만 있습니다. 무작위로 하나를 선택하십시오.
VLM 모델은 인간처럼 복잡한 교통 환경과 물리적 세계의 중국어 의미를 이해하고 ETC 차선과 인공 차선을 명확하게 구분하며 엔드투엔드 모델이 올바른 결정을 내릴 수 있도록 지원합니다.
실제로 버스전용차로와 갯벌차로 식별, 학교구간 등 도로표지판 식별, 간선도로와 보조도로의 진입 및 진출 등 유사한 시나리오가 많이 존재한다. 뿐만 아니라 건설 현장, 움푹 들어간 곳, 심지어 과속방지턱에 직면할 때에도 VLM 모델은 이를 잘 이해하고 알림을 제공하며 속도를 늦출 수 있습니다.
현재까지 Li Auto의 VLM 시각적 언어 모델은 22억 개의 매개변수를 보유하고 있으며 실제 세계의 복잡한 교통 환경에 대해 보다 인간과 유사한 이해력을 갖추고 있습니다.
또한 OTA 버전 6.4에서는 고속 NOA 기능도 최적화되어 고속 및 도시 고속도로 시나리오에서 전방의 느린 차량을 조기에 식별할 수 있어 추월 조치가 더욱 효율적이고 안전해졌습니다.
전체적으로 엔드 투 엔드 + VLM 이중 시스템의 도움으로 사용자 중심 OTA 6.4는 새로운 수준의 의인화에 도달했습니다.
이상적인 "빠른"과 "느린"
기술 아키텍처의 관점에서 Li Auto는 지난 2년 동안 세 가지 주요 조정을 거쳤습니다.
선험적 정보가 필요한 NPN 네트워크부터 BEV 및 점유 네트워크를 기반으로 한 무그래프 NOA, 오늘날의 통합된 엔드투엔드 기술 경로까지.
1세대 NPN 아키텍처는 인식, 포지셔닝, 계획, 내비게이션, NPN 및 기타 모듈을 포함하여 당시 Li Auto의 도시 NOA 추진을 100개 도시로 지원하는 등 상대적으로 복잡했습니다.
2세대 맵리스 NOA에서는 Li Auto가 엔드-투-엔드 대형 모델을 선보이며, 모듈 수를 대폭 줄였습니다. 인식과 계획만 남았고, 선험적 정보의 업데이트를 기다릴 필요가 없습니다. .
이 이상적인 단계를 통해 자동차 회사는 더 이상 개방된 도시의 지루한 수로 "볼륨"을 제한하지 않고 진정으로 내비게이션을 통한 운전을 가능하게 할 수 있습니다.
올해 5월 Li Auto는 1,000명의 사용자를 모집하고 AD Max 3.0이라고도 알려진 NOA의 공개 베타 버전을 공식 출시했습니다. 당시 사용자 피드백은 Li Auto의 기대치를 훨씬 뛰어넘었습니다. 불과 두 달 후 Li Auto는 240,000명 이상의 Li Auto AD Max 사용자에게 이 업그레이드를 출시했습니다.
하지만 현시점의 엔드투엔드는 여전히 세분화된 엔드투엔드다. 3세대 스마트 드라이빙 솔루션은 그야말로 입력부터 출력까지 모든 것이 하나의 모델로 구현되는 통합 엔드투엔드다. , 관련된 규칙이 없습니다.
과거에는 지도 기반 솔루션이든 지도 없는 솔루션이든 엔지니어가 다양한 도로 시나리오를 기반으로 규칙을 작성하는 데 의존하여 모든 도로 조건과 해당 솔루션을 철저하게 다루려고 노력했습니다. 최대한 넓을 수 있습니다.
일반적으로 제조업체에서는 장면을 고속 장면, 도시 장면, 주차 장면의 세 가지 유형으로 대략 분류합니다. 이러한 주요 시나리오는 더욱 세분화될 수 있으며 규제 엔지니어는 이러한 시나리오에 대한 코드를 작성해야 합니다.
그러나 복잡한 현실 세계에 직면하여 이러한 접근 방식은 명백히 충분히 현실적이지 않습니다. 통합 엔드투엔드 시스템은 인간의 운전 과정을 학습하고 센서 정보를 수신한 후 운전 궤적을 직접 출력할 수 있습니다.
이때 지능형 주행 능력 향상에 가장 중요한 요소가 엔지니어에서 데이터로 바뀌었다는 사실을 알고 계셨나요? 그리고 이상적으로 가장 필수적인 것은 데이터입니다.
10월 14일, Li Auto는 장쑤성 창저우에 있는 자사 기지의 생산 라인에서 100만 번째 차량을 선보이며 중국 최초의 100만 대 규모 신차 회사의 탄생을 기념했습니다. Li Auto가 공개한 데이터에 따르면 가격이 30만 위안 이상인 Li Auto 모델 중 AD Max 사용자 비율은 70%에 달합니다.
매달 이러한 차량은 10억 킬로미터가 넘는 훈련 데이터를 Ideal에 제공할 수 있습니다.
또한 Ideal은 오랫동안 데이터의 중요성을 인식하고 데이터에 대한 도구 체인과 같은 기본 기능을 구축했습니다. 예를 들어 Ideal의 백엔드 데이터베이스는 "가까이 우산을 들고 지나가는 보행자"라는 문장을 찾기 위해 단락 검색을 구현했습니다. 비 오는 날 빨간불 정지선'을 검색하시면 해당 데이터를 찾으실 수 있습니다.
Ideal Smart Driving이 업계에서 "따라잡기"를 달성한 것은 바로 거대한 교육 데이터와 완벽한 제어 체인에 의존하고 엔드투엔드 및 VLM을 사용하여 고유한 "빠름"과 "느림"을 형성하는 것입니다.
이상적으로 이 이중 시스템 지능형 주행 솔루션은 노벨상 수상자 Daniel Kahneman의 "Thinking, Fast and Slow"에서 빠르고 느린 시스템에 대한 이론과 유사합니다.
인간의 빠른 시스템은 95%의 시나리오에서 높은 효율성을 유지하기 위해 직관과 본능에 의존하고, 인간의 느린 시스템은 의식적인 분석과 사고에 의존하여 시나리오의 5%라는 높은 상한선을 도입합니다.
그 중 end-to-end는 "빠른 시스템"이고 VLM은 당연히 "느린 시스템"입니다.
Lang Xianpeng은 자율 주행 시스템이 L3인지 L4인지는 엔드투엔드에 좌우되지 않는다고 믿습니다. VLM 모델은 알려지지 않은 시나리오에 실제로 대처하고 기능의 상한선을 높이는 열쇠입니다.
"이상형 동급생, 나는 여기에 가고 싶다."
OTA 6.4는 스마트 드라이빙의 업그레이드 외에도 사용자 상호 작용에도 혁신을 가져옵니다.
또한 "빠름"과 "느림"의 두 부분으로 나뉩니다.
"빠른 시스템"인 엔드 투 엔드 모델은 일반적으로 운전자에게 내비게이션, 교통 규제, 효율성 및 게임과 같은 실시간 실행 로직과 작업을 제공하는 텍스트 팝업 창에 해당합니다.
"느린 시스템" VLM 시각적 언어 모델을 위해 Ideal은 이를 위한 새로운 그래픽 창을 준비했습니다. 특별한 시나리오에서는 눈앞에 인지된 그림이 페이지에 투영되고, 모델의 사고과정과 결과가 카피라이팅과 연계되어 설명된다.
텍스트 팝업 창과 그래픽 창의 협력을 통해 운전자는 시스템이 어떤 차량 제어 작업을 수행하는지 미리 알 수 있습니다. 스마트 드라이빙을 처음 경험하는 소비자들에게도 이러한 직관적인 정보 디스플레이는 스마트 드라이빙 시스템에 대한 빠른 신뢰를 구축하는 데 도움이 됩니다.
Li Auto의 사용자 요구 사항에 대한 이해가 실제로 매우 정확하다는 점을 인정해야 합니다.
미래에 대한 우리의 상상 속에서 스마트 드라이빙과 스마트 캐빈은 항상 하나로 묶여 있습니다. OTA 6.4 버전에서는 Ideal이 스마트 공간에도 많은 업그레이드를 가져왔습니다.
우선 새로 추가된 Task Master 2.0은 Ideal Classmates와 Mind GPT의 기능을 완벽하게 통합했으며, 대형 모델 지원으로 Task Master의 성능이 더욱 지능화되었습니다.
Mind GPT가 지원하는 이상적인 동급생은 주말 가족 여행과 매일의 작은 질문에 답하는 두 가지 시나리오에서 역할을 할 수 있을 뿐만 아니라 새로 업그레이드된 Amap AutoSDK 750 버전 내비게이션 지도와 결합되어 이상적인 동급생은 "터치 + 음성" 방식을 사용할 수 있습니다. , 운전자가 목적지를 빠르게 검색할 수 있도록 해줍니다.
예를 들어, 지도에서 특정 위치를 가리키면 충전소에 있는 모든 브랜드의 충전 파일을 검색하는 데 도움이 되며, 전력을 지정할 수도 있습니다.
즉, 새로운 Ideal Classmate는 휴대폰을 집어들 필요가 전혀 없이 가장 자연스럽고 직관적인 방식으로 쉽게 탐색 경로를 설정할 수 있습니다.
VLM은 운전 전반을 관리하며 귀하를 위해 생각하고 귀하는 단순히 길을 가리킵니다.
# aifaner 공식 WeChat 공개 계정: aifaner(WeChat ID: ifanr) 팔로우를 환영합니다. 더 흥미로운 콘텐츠가 최대한 빨리 제공될 예정입니다.
Ai Faner | 원본 링크 · 댓글 보기 · Sina Weibo