자율주행 시스템의 가장 큰 문제점 중 하나는 도로를 완벽하게 볼 수 있으면서도 지저분한 도시 교통 상황에서 여전히 불안한 단기 결정을 내릴 수 있다는 것입니다. 첨단 시스템은 복잡하고 변동이 심한 도로 상황을 따라가기 위해 고군분투합니다. 그러나 새로운 연구에 따르면 이러한 자동차에는 더 나은 시력이 필요한 것이 아니라 더 나은 기억력이 필요하다고 주장합니다.
동료 검토 논문에서 유지된 (비전 언어 모델을 사용한 연속 구동 프레임의 궤적에 대한 지식 강화 예측)통지대학교 연구진과 공동 연구자들은 자율주행차가 다음에 무엇을 할지 선택하기 전에 과거의 운전 장면을 “기억”하는 데 도움이 되는 시스템을 개발했습니다.
이 새로운 자율주행 기술은 어떻게 작동하나요?
KEPT라고 불리는 이 방법은 전방 카메라 비디오를 사용하여 이를 이전의 실제 운전 클립의 대규모 라이브러리와 비교한 다음 현재 장면과 과거에서 검색된 사례를 기반으로 보다 안전한 단기 궤적을 예측합니다. 핵심 아이디어는 매우 직관적입니다. AI 모델에게 이전에 전혀 본 적이 없는 것처럼 모든 상황에 반응하도록 요청하는 대신, KEPT는 이전 드라이브에서 유사한 순간을 회상하도록 합니다.
그런 다음 이러한 예는 구조화된 추론 프로세스의 일부로 비전 언어 모델에 입력됩니다. 연구자들은 대형 비전 언어 모델이 환각을 일으키거나, 물리적 제약을 무시하거나, 종이에서는 그럴듯해 보이지만 실제 자동차에는 적합하지 않은 동작을 제안할 수 있다고 연구원들이 말하고 있기 때문에 이는 중요합니다. 따라서 KEPT는 기본적으로 실제 세계에서 유사한 교통 상황이 어떻게 보이는지에 모델을 기반으로 하는 가드레일 역할을 합니다.
기존 자율 시스템보다 나은가요?
연구원들은 널리 사용되는 nuScenes 벤치마크에서 KEPT를 테스트했으며 개방 루프 측정 기준에서 기존의 엔드투엔드 계획 시스템과 최신 비전 언어 기반 플래너보다 성능이 뛰어났다고 말했습니다. 심지어 예측 오류를 줄이고 잠재적인 충돌 표시를 낮추는 동시에 실시간 운전에 실용적일 만큼 검색 속도를 빠르게 유지했습니다.
이는 차세대 자율주행차를 위한 당연한 선택처럼 보일 수 있지만 아직 도로 주행 준비가 되어 있지는 않습니다. 그럼에도 불구하고 더 넓은 아이디어는 설득력이 있습니다. 자율주행차가 실시간 인식과 유사한 상황이 이전에 어떻게 전개되었는지에 대한 의미 있는 기억을 결합할 수 있다면 덜 불안정하고 인간과 유사한 결정을 내릴 수 있습니다.