알리바바 큐원, 자율주행 AI ‘큐원-드라이브’ 오픈소스 공개…도로이탈률 절반으로 줄었다

알리바바 산하 큐원(Qwen) 팀이 자율주행을 위한 오픈소스 AI 모델 “큐원-드라이브-1.0-4B(Qwen-Drive-1.0-4B)”를 공개했다. 화중과학기술대학(Huazhong University of Science and Technology)과 공동 개발한 모델로, 주행 장면을 이해하는 비전-언어 능력과 차량의 움직임을 계획하는 기능을 하나로 묶었다. 비전-언어 기반은 큐원3.5-4B(Qwen3.5-4B)를 그대로 쓰고, 3D 공간 인식과 주행 경로 생성을 담당하는 별도 모듈을 추가했다. 코드와 모델 가중치, 데모 데이터는 아파치(Apache) 2.0 라이선스로 깃허브(GitHub)·허깅페이스(Hugging Face)·모델스코프(ModelScope)에 공개돼 연구자들이 무료로 쓸 수 있다.

기존 자율주행 모델의 두 가지 약점

기존 자율주행용 AI 모델 다수는 범용 텍스트-이미지 모델을 주행 데이터로 파인튜닝하는 방식을 썼다. 대부분 교통 상황에 대한 질문-답변(Q&A) 데이터 위주였다. 큐원 팀 논문에 따르면 이 방식에는 두 가지 약점이 있다.

첫째, 교통 Q&A로만 학습한 모델은 거리와 위치, 빈 공간을 안정적으로 감지하지 못한다. 이미지를 설명할 수 있다고 해서 3차원 공간을 실제로 이해하는 것은 아니라는 뜻이다. 둘째, 주행 데이터에 지나치게 특화되면 원래 갖고 있던 폭넓은 일반 지식을 잃어버리는 이른바 “치명적 망각(catastrophic forgetting)” 현상이 나타난다. 연구팀은 이 지식이 드물고 예상치 못한 교통 상황에서 가장 중요하다고 설명했다.

3단계 학습으로 공간 이해력을 별도로 훈련

큐원-드라이브-1.0은 큐원3.5-4B에 두 가지 컴포넌트를 추가했다. 하나는 주변 사물을 3차원으로 포착해 점유 영역과 도로 형태를 그려내는 조감도(bird's-eye-view) 맵 생성 모듈이다. 연구팀은 이 모듈이 모델이 이미지에서 실제로 얼마나 많은 공간 정보를 뽑아내는지 측정하는 도구 역할도 한다고 설명했다.

다른 하나는 차량의 미래 움직임을 계획하는 “플래닝 엑스퍼트(Planning Expert)”다. 이 모듈은 이미지·질의응답을 각각 모방 학습과 강화학습 두 방식으로 훈련한 두 가지 버전으로 제공된다. 연구팀이 추가 컴포넌트만 학습시키고 비전-언어 모델 자체는 그대로 둔 실험에서는 공간 정확도가 낮게 유지됐다. 비전-언어 모델까지 함께 공간 과제로 훈련시켰을 때만 성능이 크게 개선됐다.

학습은 인식(perception) 모듈부터 시작해 인식과 질의응답을 결합한 단계, 경로 계획 단계를 거쳐 마지막으로 강화학습으로 행동을 다듬는 순서로 진행됐다. 비전-언어 컴포넌트 학습에는 공개된 교통 장면 데이터셋 24종을 결합했다. 구조가 서로 다르고 오류도 있던 데이터셋들을 AI 모델로 표준화하고 원본 데이터에 맞춰 정렬했다. 연구팀은 여기에 더해 어떤 대상이 브레이크를 유발하는지처럼 차량이 특정 주행 판단을 내린 이유를 직접 설명하는 예시도 자체 제작했다.

코크핏과 주행 시스템을 하나의 모델로

최근 차량은 인포테인먼트(코크핏)와 주행 시스템이 별도 컨트롤러 두 개가 아니라 하나의 컴퓨팅 유닛으로 합쳐지는 흐름을 보이고 있다. 연구팀은 일반 능력을 희생하고 순수 주행 성능만 추구하는 모델은 이런 환경에 맞지 않는다고 지적했다. 대화나 개방형 질문 같은 업무를 위해 코크핏이 여전히 별도 모델과 추가 연산 자원을 필요로 하기 때문이다.

큐원-드라이브-1.0은 이런 문제의식에서 원본 비전-언어 모델의 구조와 시각 질의응답 능력을 그대로 유지하도록 설계됐다. 실제로 주행과 무관한 일반 지식 테스트에서는 손실이 거의 없었고, 일부 공간 과제에서는 오히려 점수가 소폭 높아졌다. 하나의 모델로 주행 판단과 일반 대화 기능을 동시에 처리하려는 시도인 셈이다.

도로이탈률은 절반으로, 설명은 완벽하지 않다

큐원-드라이브-1.0은 교통 장면 관련 질문에서 손대지 않은 원본 모델 큐원3.5-4B보다 확연히 높은 점수를 냈다. 특히 왜 브레이크를 밟거나 방향을 틀어야 하는지 같은 인과관계를 설명하는 과제에서 격차가 가장 크게 벌어졌다.

주행 계획 성능은 단순 예측부터 오차가 누적되는 시뮬레이터까지 여러 난이도에서 테스트했다. 시뮬레이터에서 강화학습으로 재훈련한 버전은 차량이 도로를 벗어나는 비율을 24%에서 12%로 낮췄다. 동시에 더 조심스럽게 운전하며 전체 주행 거리는 줄어드는 경향을 보였다.

다만 모델의 설명이 항상 실제 원인을 정확히 짚지는 못했다. 멀리 있는 빨간 신호등과 도로에 뛰어드는 아이는 전혀 다른 반응 속도를 요구하는데, 모델이 이 둘을 혼동하는 경우가 있었다. 계획된 조작이 모델이 사전에 제시한 이유와 항상 일치하지도 않았다. 연구팀 스스로 설계하거나 재구성한 테스트 절차에 기반한 결과도 있어, 개별 지표만으로 실제 도로의 복잡한 상황 대응력을 판단하기는 어렵다는 한계가 있다.

큐원 팀은 자체 개발한 홉체인(HopChain) 벤치마크로 공간 이해력의 격차를 별도로 측정했다. 비전-언어 모델들은 이미지-텍스트 벤치마크에서는 좋은 점수를 받으면서도 사물을 잘못 분류하거나 공간 관계를 혼동하는 경우가 나타났다. 치명적 망각은 이미 익숙한 문제이기도 하다. 구글 딥마인드가 2023년 언어·이미지·로봇 제어를 결합한 팜-E(PaLM-E)를 개발했을 때, 작은 규모 변형 모델들은 로봇 훈련 후 언어 능력의 상당 부분을 잃었다. 반면 5,620억 개 파라미터 규모의 가장 큰 버전은 거의 손실이 없었다.

언어모델과 주행 기능을 결합하면 새로운 공격 지점도 생긴다. UC 산타크루즈 연구팀은 카메라 시야에 표식이 있는 표지판을 놓아 드라이브LM(DriveLM) 주행 시스템을 속여, 횡단 중인 보행자를 정확히 감지했음에도 그쪽으로 방향을 틀게 만든 사례를 보고했다. 이런 흐름 속에서 연구 방향은 에이전트 자신의 행동에 따라 환경이 어떻게 변하는지까지 예측하는 “월드 액션 모델(World Action Model)”로 옮겨가고 있다.