25年6月来自 MacGill 大学、清华、小米、Wisconsin 大学和 Minnesota 大学的论文“A Survey on Vision-Language-Action Models for Autonomous Driving”。多模态大语言模型 (MLLM) 的快速发展为视觉-语言-动作 (VLA) 范式铺平了道路该范式将视觉感知、自然语言理解和控制集成到单一策略中。自动驾驶研究人员正在积极地将这些方法应用到汽车领域。此类模型有望使自动驾驶AD汽车能够解释高级指令、推理复杂交通场景并做出自主决策。然而相关文献仍然碎片化并且正在迅速扩展。本综述首次全面概述用于自动驾驶的 VLA (VLA4AD) (i) 形式化近期研究中所共享的架构建块(ii) 追踪从早期解释器到以推理为中心的 VLA 模型演变以及 (iii) 根据 VLA 在自动驾驶领域的进展比较 20 多个代表性模型。还整合现有的数据集和基准重点突出共同衡量驾驶安全性、准确性和解释质量的协议。最后详细介绍鲁棒性、实时效率和形式化验证等开放性挑战并概述 VLA4AD 的未来发展方向。AD 的技术弧线可以通过四个主要范例来追溯模块化栈、端到端学习、VLM4AD 和最近的 VLA4AD 浪潮。经典模块化流程第一波自动驾驶系统以DARPA城市挑战赛车辆为代表明确地将驾驶任务分解为不同的模块感知[49, 80, 157]、预测[2, 45]、规划[43, 109]和控制[12, 34, 61, 62, 95, 123]。手工算法处理激光雷达、雷达和GPS数据传统视觉探测器识别物体有限状态机或基于图的搜索生成路径PID或MPC控制器执行最终指令[52, 66]。由于其模块化设计该架构在工业界被广泛采用——每个组件都可以单独进行设计、测试和改进。然而这种严格的解耦会导致信息碎片化上游误差会在未经纠正的情况下传播而跨模块的目标不一致会阻碍端到端优化 [73, 83, 107]。端到端自动驾驶自动驾驶系统的模块化设计容易导致感知、预测和规划模块之间的误差传播和信息丢失。因此研究已转向更加集成的端到端方法。如图 (a) 所示端到端 (E2E) 驾驶策略将原始传感器数据流直接映射到控制命令绕过了手工构建的模块化流水线 [9, 19, 20, 27, 40, 54, 106, 111, 112, 138, 145, 149]。E2E 驾驶从根本上来说是一个从视觉-到-动作 (VA) 的系统其中视觉输入可以来自摄像头或激光雷达而动作输出通常表示为未来轨迹或控制信号。然而由于规划级数据的稀疏性以及神经网络固有的巨大非结构化解空间将原始感官输入直接映射到驾驶动作提出了重大挑战 [13]。为了缓解这些问题早期的 E2E 方法通过集成感知和预测任务引入中间监督 [20, 111]。具体而言这些方法将感知、预测和规划模块集成在一个统一的框架内主要促进跨模块的特征级信息流。UniAD [44] 主要依赖于栅格化表示例如语义图、占用图、流图和成本图这是一种计算密集型的方法。相比之下提出的 VAD [59, 86] 采用完全矢量化的场景表示进行端到端规划。VAD 利用实例级结构信息作为规划的约束和指导以更高的效率实现良好的性能。PolarPoint-BEV [28] 通过采用极点编码进一步细化 BEV 表示。这结合基于距离的重要性加权先验使模型能够在驾驶过程中更有效地关注不同范围内的关键物体。为了模拟自车辆与其他交通参与者之间的交互GenAD [162] 和 PPAD [16] 利用实例级视觉特征而 GraphAD [156] 将这些特征表示为图中的节点。SparseAD [151] 和 SparseDrive [117] 构建了一个完全稀疏的架构实现了更高的效率和卓越的规划性能。然而这些方法通常依赖于构建计算成本高昂的 BEV 特征并阻止下游任务直接从原始传感器输入中学习。为了应对这一挑战PARA-Drive [132] 和 DriveTransformer [56] 引入了并行流水线架构为端到端驾驶系统提供了更统一、更可扩展的框架。这种方法明确地模拟了感知、预测和规划任务之间的关系。然而这些范式在处理极端情况方面也存在不足并且难以应对分布外 (OOD) 场景。例如在遇到罕见事件例如车辆在十字路口抛锚时驾驶系统可能无法生成合适的轨迹 [140]。有几种方法试图缓解这些问题。物理定律增强型框架融合先验知识 [164]而其他框架则利用目标函数和规划动作先验来细化轨迹 [14, 35, 54, 71, 72, 77, 114, 127, 144]。然而设计此类用于轨迹细化的目标函数仍然计算成本高昂且劳动密集。后续研究旨在通过自监督或弱监督框架来减轻 3D 感知任务的注释负担例如 [36, 68, 69, 82]。此外闭环评估表明超过一定数据量后收益递减并且不同场景类型的性能差异显著 [92, 163]。这些发现表明仅靠纯粹的数据规模化不足以实现 4 级及以上级别的自动驾驶。总体而言端到端学习显著缩小原始传感器输入与控制决策之间的差距。然而仍然存在持续的挑战包括(i) 脆弱语义易受罕见或快速演变场景的影响。(ii) 推理不透明可解释性有限阻碍安全审计和验证。(iii) 语言能力有限限制直观的人车交互。用于自动驾驶的 VLM将语言模态与驾驶任务相结合为增强自动驾驶系统的推理能力、可解释性和泛化能力提供了一个有希望的方向。 LLM [120, 122] 和 VLM [1, 74, 102] 通过在共享的嵌入空间中统一感知和自然语言推理提供一种颇具前景的补救措施 [47]。这一进展的核心是大规模多模态预训练它为模型提供常识性关联例如警笛→让路而特定任务的标签往往会忽略这些关联。因此以语言为条件的 VLM 策略在新物体、天气条件和驾驶规范中表现出更强的零样本泛化能力。最近的研究 [29, 46, 75, 84, 97, 125, 126, 154] 已开始将这些模型直接嵌入到驾驶循环中如上图 (b) 所示。早期的努力包括 GPT-Driver [87]它证明冻结的 VLM 可以处理多视图图像和文本提示以生成轨迹规划或低级控制标记同时生成人类可读的基本原理。虽然对于常识推理和极端情况理解有效但将大型基础模型集成到驾驶系统中存在一些缺点空间意识差 [37]、数值输出模糊 [58] 和规划延迟增加 [119]。此外LLM/VLM 中普遍存在的幻觉效应 [136] 会使驾驶系统暴露于潜在的不安全控制信号中。后续研究通过几个关键方向解决了这些限制(1) 空间理解增强TOKEN [118] 和 WKAD [150] 使用以目标为中心的token表示而 BEVDriver [134] 将 BEV 特征与语言相结合用于 3D 空间查询和多模态未来预测。 Sce2DriveX [159] 提出空间关系图来模拟自车与交通参与者之间的交互而 MPDrive [158] 利用视觉提示来加强空间推理。2减少延迟双-系统架构 [15, 24, 25, 58, 81, 86, 90, 91, 100, 119] 使用 VLM 作为中间模块为端到端系统提供反馈或辅助信号。知识蒸馏方法 [38, 78, 96, 140] 将 VLM 功能离线迁移到传统系统。3缓解幻觉像 Dilu [131] 及其扩展 [60] 这样的上下文学习方法利用存储库来记忆关键驾驶信息。ReasonPlan [79] 生成逐步的决策理由。AgentDriver [88] 和 AgentThink [99] 实现了工具增强的思维链提示以增强推理能力。尽管取得了这些进展但当前的方法仍然主要以感知为中心它们生成的规划缺乏与闭环控制的紧密集成[110]并且它们的解释性输出没有提供正式的安全保障[164]。此外如何将 VLM 的输出与行动空间对齐也是一个挑战。从 VLM 到 VLA 的自动驾驶 受具身智能领域最新进展的启发 [4, 65, 76]将视觉、语言和动作整合到一个统一的框架内已成为自动驾驶领域的一种发展趋势。如图 © 所示VLA 通过引入显式动作头 (action head) 解决了上述问题从而将感知、推理和控制统一在一个策略中 [85, 108, 166]。VLA 策略由现实驾驶中的三个核心需求驱动(i) 在罕见和长尾场景下的鲁棒推理 [55, 128](ii) 在动态和部分遮挡条件下的抗噪控制以及 (iii) 能够解释自发的高级语言命令例如“超越卡车”[96, 141]。通过利用在互联网规模的视觉和语言数据 [94] 上预训练的基础模型VLA 模型在各个领域和基准测试中展现出强大的泛化能力 [8, 116, 133]。具体而言现代 VLA 模型能够(i) 在以自我为中心的视觉上下文中构建自由形式的指令并生成相应的轨迹 [30, 148](ii) 生成思维链 (CoT) 论证如 DriveCoT 和 CoT-VLA [23, 124] 所示以增强可解释性(iii) 超越直接控制 token融入高级规划模块包括基于扩散的头部 [57]、基于 CoT 的分层规划器 [30] 以及混合离散-连续控制策略。近期的典型系统凸显 VLA 功能的广度[17, 30, 57, 153]并体现全新的 VLA4AD 范式它们联合推理视觉、语言和动作融合文本和轨迹输出、长视域记忆、符号安全检查和多模态扩散规划。这些进步代表着从以感知为中心的 VLM 流水线向动作感知、可解释和指令遵循的多模态智体决定性转变为更安全、更通用、更人性化的自动驾驶铺平道路。VLA4AD 的架构范式VLA4AD 的基本架构整合其多模态接口、核心组件和输出如图所示。多模态输入和语言指令 VLA4AD依靠丰富的多模态传感器流和语言输入来捕捉外部环境和驾驶员的高级意图。视觉数据。人类严重依赖视觉输入来应对复杂的驾驶环境自动驾驶系统亦是如此。在早期方法中单个前置单目摄像头是标准的视觉模式 [63, 89, 146]。随着时间的推移为了提高空间覆盖范围和安全性系统逐渐发展到包含立体摄像头、多摄像头设置并最终实现环视系统 [8, 116]。这种更丰富的视觉输入能够实现更稳健的场景理解和多目标推理。原始图像可以直接处理也可以转换为结构化的中间表示例如有助于空间推理的鸟瞰图 (BEV) [21, 139]。最近的研究进一步探索了输入分辨率和模型效率之间的权衡并针对实时或长尾情况动态调整粒度 [167]。其他传感器数据。除了视觉之外自动驾驶汽车越来越多地利用各种传感器模式来补充和增强感知能力以增强空间能力。初始系统集成激光雷达LiDAR用于精确的三维结构后来将其与雷达RADAR相结合用于速度估算并结合惯性测量单元IMU用于运动跟踪。GPS 模块提供全球定位 [8, 133]。该领域也越来越关注本体感受数据例如转向角、油门和加速度尤其是在行为预测和闭环控制方面 [20, 134, 142]。这种从几何到动力学的进展推动了更复杂的传感器融合框架的研究 [5, 10, 67, 129]旨在创建统一的环境时空表征。语言输入。自然语言输入例如命令、查询和结构化描述在 VLA4AD 中变得越来越重要。早期研究侧重于直接导航命令例如“在下一个十字路口左转”、“在红色汽车后面停”以实现基本指令的遵循 [96, 105]。随着系统的成熟环境查询应运而生允许用户或智体提出诸如“现在变道安全吗”或“这里的限速是多少”之类的问题[51, 93]从而实现交互式态势感知。进一步的进展引入任务级的语言规范例如解释交通规则、解析高级目标或理解以自然语言表达的基于地图约束[33]。最近的努力则转向多轮对话、推理链例如思维链提示[50, 119]和工具增强语言接口[41, 88, 99]这些支持更丰富的推理形式并与人类决策过程保持一致。最后最近的研究也开始将口语作为一种更自然、更具具体化的输入方式通过语音驱动的界面连接感知和交互[148, 165]。这种从静态指令到对话驱动的多步推理的进展反映一种更广泛的趋势语言不仅用于指挥车辆还用于实现可解释的协作式自主驾驶。核心架构模块VLA4AD 的基本架构将视觉感知、语言理解和动作生成集成在一个紧密相连的流水线中。视觉编码器。原始图像和传感器数据使用大型自监督主干网络例如 DINOv2 [94]、ConvNeXt-V2 [135] 或 CLIP [102]转换为潜表示。许多 VLA 系统采用 BEV 投影 [119]其他系统则通过点云编码器例如 PointVLA [67]或体素模块3D-VLA [161]融入 3D 先验。使用语言衍生的 K 进行多尺度融合可以提高精细空间层面的落地能力 [101, 152]。语言处理器。使用预训练解码器例如 LLaMA2 [121] 或 GPT 风格的 Transformer [6]处理自然语言。指令调优变型例如视觉指令调优 [74]和检索增强提示RAG-Driver [148]注入域知识。轻量级微调策略例如 LoRA [42]可实现高效的自适应。动作解码器。下游控制通过以下方式发出(i) 自回归 token 化器其中离散动作或轨迹点按顺序预测 [48, 64, 98, 168](ii) 扩散头以融合嵌入为条件对连续控制进行采样DiffVLA [57]Diffusion-VLA [130]或 (iii) GRPO [113] 或 DPO [103] 微调流程使用的流匹配 / 策略梯度专家 [70, 137]。分层控制器例如 ORION [30]允许语言规划器将子目标草图分发到单独的低级 PID 或 MPC 栈。驱动输出VLA 模型的输出模态反映了其抽象级别和操作目标。随着时间的推移输出格式已经从低级控制命令演变为高级空间推理和技能调节动作。低层动作。早期的 VLA4AD 系统通常侧重于直接预测原始控制信号例如转向角、油门和制动。这些动作通常被建模为连续输出或离散动作 token适合与 PID 或端到端控制流程集成 [30, 98, 143, 165]。虽然这种方案允许细粒度控制但它通常对细微的感知误差敏感并且缺乏长期规划能力。轨迹规划。后续研究转向轨迹或航点级预测这可以提供更稳定、更易解释的中间表示。这些轨迹通常以 BEV 或自我中心坐标系表示可以通过模型预测控制 (MPC) 或其他下游规划。总而言之这些输出格式体现 VLA4AD 系统不断发展的愿景不仅要驾驶还要实现鲁棒性、可解释性和情境化的驾驶。总而言之典型的 VLA4AD 模型以多模态传感器数据和自然语言输入为情境并生成驾驶决策在不同的抽象层次上在某些情况下还会生成语言落地的解释。VLA4AD 范式的进展VLA4AD 的研究呈现出明显的波澜每一波浪潮都受到其前身局限性和新的跨模态预训练技术的推动。如图所示追溯四个连续的阶段解释性语言模型、模块化 VLA4AD、端到端 VLA4AD 和以推理为中心的 VLA4AD。下表总结 2023 年至 2025 年期间的代表性 VLA4AD 模型重点介绍了它们的输入模态、语言融合方式、动作输出形式、用于评估的数据或环境以及它们的核心贡献。输入Single 单前置摄像头输入Multi 多视角摄像头输入State 车辆状态信息及其他传感器输入。输出LLC 低级控制Traj. 未来轨迹Multi. 感知、预测或规划等多项任务。预先VLA语言模型作为解释器最早的尝试将语言以被动的描述性角色进行整合以增强可解释性。此阶段的典型流程采用冻结视觉模型例如 CLIP[102]和 LLM 解码器以自然语言解释驾驶场景或推荐操作而不直接输出控制权。例如DriveGPT-4 [141] 会拍摄一张前置摄像头图像并生成文本描述或高级操作标签“减速”、“左转”。这些输出有助于解释感知系统看到的内容或意图从而提高透明度。然而实际的车辆控制仍然由传统模块PID 控制器等处理因此语言只是一种覆盖而非决策的组成部分。此外还出现了两个问题(i) 为每帧生成长描述会带来延迟因为视觉编码器每张图像要处理数千个 token[168] (ii) 通用视觉编码器在无关细节上浪费精力因为图像中并非所有内容都与驾驶相关[150]。研究人员对此提出了一些优化措施例如 TS-VLM [11]它使用文本引导的软注意池来聚焦关键区域以及 DynRsl-VLM [167]它动态调整输入分辨率以平衡速度和细节。这些措施提高效率但仍然存在语义鸿沟——叙述或token场景与生成精确的转向或制动指令不同。弥合这一差距是下一个的逻辑步。用于自动驾驶的模块化 VLA 模型随着 VLA 研究的进展语言从被动的场景描述符演变为模块化架构中的主动规划组件。语言的输入和输出不再仅仅用于评论环境而是开始直接为规划决策提供信息 [58]。例如OpenDriveVLA [165] 将摄像头和激光雷达输入与文本路线指令例如“在教堂右转”融合生成中间的、人类可读的航点例如“20 米后右转然后直行”然后将其转换为连续轨迹。这种方法通过引入可解释的语言表示增强了规划过程的透明度和灵活性。CoVLA-Agent [17] 将视觉和激光雷达token与可选的文本提示相结合并使用紧凑的多层感知器 (MLP) 将选定的动作token例如“左转”映射到相应的轨迹。同样DriveMoE [143] 采用混合专家架构其中使用语言提示根据上下文动态选择子规划器例如“超车专家”或“走走停停专家”。在多智体场景中LangCoop [33] 表明车辆可以使用简洁的自然语言消息进行通信从而在交叉路口进行协调这代表着朝着语言驱动的合作迈出了一步。SafeAuto [153] 结合以形式逻辑表达的符号交通规则来验证或否决语言驱动的规划确保生成的行为保持在安全约束范围内。此外RAG-Driver [148] 引入一种检索增强规划机制从记忆库中检索类似的过去驾驶案例以指导模糊或长尾场景中的决策。总的来说这些方法显著缩小语言指令和车辆动作之间的语义差距有效地将自然语言嵌入到规划循环的核心。然而它们通常依赖于多阶段流水线感知 → 语言 → 规划 → 控制这会在每个模块边界引入延迟和级联故障风险。这些局限性促使人们最近对更统一的端到端架构产生兴趣这些架构旨在将感知、语言理解和动作生成集成到一个可微系统中。用于自动驾驶的统一端到端 VLA 模型随着大型多模态基础模型的出现研究人员转向完全统一的网络这些网络在单次前向传播中将传感器以及可选的文本命令直接映射到轨迹或控制信号。一个典型的例子是 EMMA [50]它基于 Waymo 的自动驾驶数据训练了一个大规模的 VLM以联合执行物体检测和运动规划该模型学习一种服务于这两项任务的共享表示从而实现了比单独组件更好的闭环性能。 SimLingo[104]、LMDrive[110] 和 CarLLaVA[105] 以 LLaVA 为基础并在 CARLA 模拟器中对其进行微调使其能够遵循语言指令并进行驾驶。值得一提的是它们引入一种“动作梦境action dreaming”技术即模型通过改变语言指令来想象给定场景下的不同结果从而强制语言指令与最终轨迹紧密耦合。其他创新方法包括使用生成视频模型ADriver-I [53] 学习了一个潜世界模型可以根据给定的动作预测未来的摄像头图像帧从而能够通过想象动作的后果进行规划。DiffVLA [57] 结合稀疏航点和密集占用网格扩散预测以文本场景描述为条件生成轨迹有效地从合理的安全操作分布中采样。端到端 VLA 模型反应灵敏在感觉运动映射方面非常有效但也出现了一个新的局限性它们仍然难以进行长远推理提前规划或考虑复杂的突发事件也难以对其决策提供细粒度的解释。用于自动驾驶的推理增强型 VLA 模型最新一波 VLA4AD 超越了解释和规划调节转向长远推理、记忆和交互性将 VLM/LLM 置于控制环的核心。ORION [30] 将一个用于存储几分钟观察和动作的 Transformer“QT-Former”记忆与一个用于总结这些历史记录并输出下一轨迹和相应自然语言解释的 LLM 相结合。Impromptu VLA [18] 则将 CoT 与动作对齐。该模型基于 8 万个正确推理步骤已注释的极端情况片段进行训练学会在行动之前用语言描述其决策路径从而实现车辆之间零样本学习的协商。 AutoVLA [168] 将 CoT 推理和轨迹规划融合在一个自回归transformer中将连续路径 token 化为离散的驱动 tokens在 nuPlan 和 CARLA 上实现最先进的闭环成功率。总的来说这些系统不再仅仅对传感器输入做出反应它们在输出动作之前解释、预测并执行长远推理。它们指向能够实时口头解释动作的对话式自动驾驶汽车但也带来新的挑战索引城市规模的记忆将 LLM 推理保持在 30 Hz 的控制环路内以及形式化验证语言调节的策略。总而言之VLA4AD 模型已经从将语言作为被动解释工具发展到将其作为感知和控制的主动组成部分。从解释性感知到模块化 VLA 规划再到具有推理和对话功能的完全统一的流程视觉、语言和行动之间的闭环正在稳步闭合。这一进展表明自动驾驶汽车将成为具有对话能力和协作能力的智体——不仅能够安全驾驶还能进行符合人类期望的交流和推理。数据集和基准如下表总结数据集的工作Real 真实世界; Sim CARLA 仿真[26]; clips 视频片段; QA 问答对; CoT 思维链。训练与评估策略构建 VLA4AD 策略涉及两个相互关联的目标(i) 学习安全且高效的驾驶控制器(ii) 保留可靠的语言界面。由于驾驶数据的收集成本高昂且风险高大多数工作采用预训练 → 微调的流程在大型日志上进行行为克隆然后在模拟环境中或基于规则的约束条件下进行有针对性的优化。训练范式监督模仿学习 (IL)。IL 仍然是 VLA4AD 的主力网络采集传感器数据流以及如果存在语言提示并最小化 l2 或交叉熵损失以重现专家的控制或轨迹。虽然 IL 易于扩展但它反映训练分布罕见危险例如切入、行人遮挡很少受到监督。典型的补救措施是 DAgger 式的噪声展开或显式极端情况增强但当感知或语言基础失效时分布漂移仍然可能引发连锁反应。强化学习 (RL)。强化学习通常位于 IL 热启动之上。该策略与模拟器CARLA、Bench2Drive交互并通过 PPO 或 DQN 类型的更新进行优化以实现路线进度、避免碰撞和交通规则遵守。一个关键的悬而未决的问题是如何将驾驶奖励与语言保真度相结合当前的研究通常通过冻结语言学习模型 (LLM) 并仅惩罚不安全行为来回避这个问题而文本和控制的联合梯度在很大程度上尚未得到探索。因此用于 VLA 的强化学习前景广阔——尤其是在边缘情况鲁棒性方面——但与纯语言学习相比仍处于发展阶段。多阶段训练。大多数 VLA4AD 模型通过四阶段课程进行训练1在广泛的图像文本语料库和视频数据集上预训练大型视觉编码器如 CLIP、InternViT和语言模型如 LLaMA、Vicuna以学习一般的视觉和语言先验2通过对成对的图像-文本-动作数据进行微调来对齐模态——例如 NuInteract 上的 DriveMonkey [160]——使用跨模态对比损失和序列建模目标来绑定场景特征、语言提示和控制token3有针对性的增强注入专门的交通场景和指令例如 SimLingo 的极端情况剪辑 [105]、Bench2Drive 的挑战性路线 [55]通常辅以强化学习或基于规则的惩罚如 SafeAuto [153]以强制执行安全约束并提高在罕见事件中的表现 (4) 通过参数高效的方法LoRA 适配器、稀疏混合专家路由或师-生蒸馏压缩生成的模型以便部署从而减少计算、内存和延迟同时保留对齐的 VLA 功能例如 DriveMoE [143] 和 TS-VLM [11]。平衡语言和控制。联合损失通常将轨迹项与字幕或问答项进行加权例如CoVLA-Agent 使用 L L_traj λL_cap。一些作者交替更新——一批用于驾驶下一批用于语言——以避免梯度干扰。大型 LLM 通常保持冻结状态并通过轻量级适配器进行提示仅训练提示编码器从而在不产生巨大 GPU 成本的情况下保持语言流畅性。自由形式的解释使监督变得复杂人们已经探索 CIDEr 风格或基于 RL 的字幕调整但需要谨慎地奖励事实准确性而非修辞。可扩展性和效率。端到端 VLA 栈视觉transformer LLM 规划器每帧的计算速度可以超过数百 GFLOPs。因此当前的工作依赖于使用 LoRA 和适配器更新 70B LLM 中的数百万个参数 (SafeAuto [153])混合专家路由确保只有一部分专家在推理过程中运行 (Drive-MoE [143])轻量级 token 缩减——TS-VLM 通过软注意池化实现 10 倍的加速 [167]事件驱动的调度仅在场景变化时调用重型模型以及蒸馏在文献中仍然很少见将集群规模的策略压缩到嵌入式“微型 VLA”中。目前典型的流程包括CLIP 和 LLaMA通过模仿训练一个小型交叉注意头LoRA 将 LLM 调整到语言增强数据上可选地将强化学习应用于红灯处罚最后蒸馏结果用于车载部署。评估协议评估 VLA4AD 智体是一项双-目标任务策略必须安全驾驶并忠实地沟通。因此最先进的论文报告四个互补的指标闭环驾驶。CARLA /Becn2Drive[55] 上的路线成功率违规行为碰撞、闯红灯、越野其中 DiffVLA 通过 PDMS 层将误差减半 [57]通过逻辑否决检查规则合规性SafeAuto[153]以及对未见过的城镇和天气的泛化。开环预测。轨迹 y2 和碰撞率nuScenes 挑战赛指令条件下的目标到达率辅助感知头的可选 mAP/IoU以及延迟/FPS——TS-VLM 通过令牌池化将计算量减少了 ∼ 90% [167]。语言能力。在 SimLingo 的 Action-Dreaming 基准测试 [105] 中执行命令在 NuInteract [160] 和 DriveLM 上自动进行 BLEU/CIDEr/准确率测试TS-VLM 的 BLEU-4 56 [115]Reason2Drive 中的理由链一致性 [93]以及人类对 BDD-X 风格基本原理的评分。鲁棒性和压力。DynRsl-VLM [167] 分析的传感器扰动模糊、丢失、滞后对抗性提示或补丁分布外事件以及语言边缘例子习语、语码转换、多语言查询。总而言之可靠的评估必须衡量 (i) 控制可靠性、(ii) 语言保真度以及 (iii) 它们的耦合性。如今的套件分别涵盖这些方面——CARLA / Bench2Drive 用于控制NuInteract / Reason2Drive / Drive-eLM 用于推理——这凸显对融合两种流程的统一“AI 驾照”的需求。 自动驾驶中的视觉-语言-动作模型：综述
25年6月来自 MacGill 大学、清华、小米、Wisconsin 大学和 Minnesota 大学的论文“A Survey on Vision-Language-Action Models for Autonomous Driving”。多模态大语言模型 (MLLM) 的快速发展为视觉-语言-动作 (VLA) 范式铺平了道路该范式将视觉感知、自然语言理解和控制集成到单一策略中。自动驾驶研究人员正在积极地将这些方法应用到汽车领域。此类模型有望使自动驾驶AD汽车能够解释高级指令、推理复杂交通场景并做出自主决策。然而相关文献仍然碎片化并且正在迅速扩展。本综述首次全面概述用于自动驾驶的 VLA (VLA4AD) (i) 形式化近期研究中所共享的架构建块(ii) 追踪从早期解释器到以推理为中心的 VLA 模型演变以及 (iii) 根据 VLA 在自动驾驶领域的进展比较 20 多个代表性模型。还整合现有的数据集和基准重点突出共同衡量驾驶安全性、准确性和解释质量的协议。最后详细介绍鲁棒性、实时效率和形式化验证等开放性挑战并概述 VLA4AD 的未来发展方向。AD 的技术弧线可以通过四个主要范例来追溯模块化栈、端到端学习、VLM4AD 和最近的 VLA4AD 浪潮。经典模块化流程第一波自动驾驶系统以DARPA城市挑战赛车辆为代表明确地将驾驶任务分解为不同的模块感知[49, 80, 157]、预测[2, 45]、规划[43, 109]和控制[12, 34, 61, 62, 95, 123]。手工算法处理激光雷达、雷达和GPS数据传统视觉探测器识别物体有限状态机或基于图的搜索生成路径PID或MPC控制器执行最终指令[52, 66]。由于其模块化设计该架构在工业界被广泛采用——每个组件都可以单独进行设计、测试和改进。然而这种严格的解耦会导致信息碎片化上游误差会在未经纠正的情况下传播而跨模块的目标不一致会阻碍端到端优化 [73, 83, 107]。端到端自动驾驶自动驾驶系统的模块化设计容易导致感知、预测和规划模块之间的误差传播和信息丢失。因此研究已转向更加集成的端到端方法。如图 (a) 所示端到端 (E2E) 驾驶策略将原始传感器数据流直接映射到控制命令绕过了手工构建的模块化流水线 [9, 19, 20, 27, 40, 54, 106, 111, 112, 138, 145, 149]。E2E 驾驶从根本上来说是一个从视觉-到-动作 (VA) 的系统其中视觉输入可以来自摄像头或激光雷达而动作输出通常表示为未来轨迹或控制信号。然而由于规划级数据的稀疏性以及神经网络固有的巨大非结构化解空间将原始感官输入直接映射到驾驶动作提出了重大挑战 [13]。为了缓解这些问题早期的 E2E 方法通过集成感知和预测任务引入中间监督 [20, 111]。具体而言这些方法将感知、预测和规划模块集成在一个统一的框架内主要促进跨模块的特征级信息流。UniAD [44] 主要依赖于栅格化表示例如语义图、占用图、流图和成本图这是一种计算密集型的方法。相比之下提出的 VAD [59, 86] 采用完全矢量化的场景表示进行端到端规划。VAD 利用实例级结构信息作为规划的约束和指导以更高的效率实现良好的性能。PolarPoint-BEV [28] 通过采用极点编码进一步细化 BEV 表示。这结合基于距离的重要性加权先验使模型能够在驾驶过程中更有效地关注不同范围内的关键物体。为了模拟自车辆与其他交通参与者之间的交互GenAD [162] 和 PPAD [16] 利用实例级视觉特征而 GraphAD [156] 将这些特征表示为图中的节点。SparseAD [151] 和 SparseDrive [117] 构建了一个完全稀疏的架构实现了更高的效率和卓越的规划性能。然而这些方法通常依赖于构建计算成本高昂的 BEV 特征并阻止下游任务直接从原始传感器输入中学习。为了应对这一挑战PARA-Drive [132] 和 DriveTransformer [56] 引入了并行流水线架构为端到端驾驶系统提供了更统一、更可扩展的框架。这种方法明确地模拟了感知、预测和规划任务之间的关系。然而这些范式在处理极端情况方面也存在不足并且难以应对分布外 (OOD) 场景。例如在遇到罕见事件例如车辆在十字路口抛锚时驾驶系统可能无法生成合适的轨迹 [140]。有几种方法试图缓解这些问题。物理定律增强型框架融合先验知识 [164]而其他框架则利用目标函数和规划动作先验来细化轨迹 [14, 35, 54, 71, 72, 77, 114, 127, 144]。然而设计此类用于轨迹细化的目标函数仍然计算成本高昂且劳动密集。后续研究旨在通过自监督或弱监督框架来减轻 3D 感知任务的注释负担例如 [36, 68, 69, 82]。此外闭环评估表明超过一定数据量后收益递减并且不同场景类型的性能差异显著 [92, 163]。这些发现表明仅靠纯粹的数据规模化不足以实现 4 级及以上级别的自动驾驶。总体而言端到端学习显著缩小原始传感器输入与控制决策之间的差距。然而仍然存在持续的挑战包括(i) 脆弱语义易受罕见或快速演变场景的影响。(ii) 推理不透明可解释性有限阻碍安全审计和验证。(iii) 语言能力有限限制直观的人车交互。用于自动驾驶的 VLM将语言模态与驾驶任务相结合为增强自动驾驶系统的推理能力、可解释性和泛化能力提供了一个有希望的方向。 LLM [120, 122] 和 VLM [1, 74, 102] 通过在共享的嵌入空间中统一感知和自然语言推理提供一种颇具前景的补救措施 [47]。这一进展的核心是大规模多模态预训练它为模型提供常识性关联例如警笛→让路而特定任务的标签往往会忽略这些关联。因此以语言为条件的 VLM 策略在新物体、天气条件和驾驶规范中表现出更强的零样本泛化能力。最近的研究 [29, 46, 75, 84, 97, 125, 126, 154] 已开始将这些模型直接嵌入到驾驶循环中如上图 (b) 所示。早期的努力包括 GPT-Driver [87]它证明冻结的 VLM 可以处理多视图图像和文本提示以生成轨迹规划或低级控制标记同时生成人类可读的基本原理。虽然对于常识推理和极端情况理解有效但将大型基础模型集成到驾驶系统中存在一些缺点空间意识差 [37]、数值输出模糊 [58] 和规划延迟增加 [119]。此外LLM/VLM 中普遍存在的幻觉效应 [136] 会使驾驶系统暴露于潜在的不安全控制信号中。后续研究通过几个关键方向解决了这些限制(1) 空间理解增强TOKEN [118] 和 WKAD [150] 使用以目标为中心的token表示而 BEVDriver [134] 将 BEV 特征与语言相结合用于 3D 空间查询和多模态未来预测。 Sce2DriveX [159] 提出空间关系图来模拟自车与交通参与者之间的交互而 MPDrive [158] 利用视觉提示来加强空间推理。2减少延迟双-系统架构 [15, 24, 25, 58, 81, 86, 90, 91, 100, 119] 使用 VLM 作为中间模块为端到端系统提供反馈或辅助信号。知识蒸馏方法 [38, 78, 96, 140] 将 VLM 功能离线迁移到传统系统。3缓解幻觉像 Dilu [131] 及其扩展 [60] 这样的上下文学习方法利用存储库来记忆关键驾驶信息。ReasonPlan [79] 生成逐步的决策理由。AgentDriver [88] 和 AgentThink [99] 实现了工具增强的思维链提示以增强推理能力。尽管取得了这些进展但当前的方法仍然主要以感知为中心它们生成的规划缺乏与闭环控制的紧密集成[110]并且它们的解释性输出没有提供正式的安全保障[164]。此外如何将 VLM 的输出与行动空间对齐也是一个挑战。从 VLM 到 VLA 的自动驾驶 受具身智能领域最新进展的启发 [4, 65, 76]将视觉、语言和动作整合到一个统一的框架内已成为自动驾驶领域的一种发展趋势。如图 © 所示VLA 通过引入显式动作头 (action head) 解决了上述问题从而将感知、推理和控制统一在一个策略中 [85, 108, 166]。VLA 策略由现实驾驶中的三个核心需求驱动(i) 在罕见和长尾场景下的鲁棒推理 [55, 128](ii) 在动态和部分遮挡条件下的抗噪控制以及 (iii) 能够解释自发的高级语言命令例如“超越卡车”[96, 141]。通过利用在互联网规模的视觉和语言数据 [94] 上预训练的基础模型VLA 模型在各个领域和基准测试中展现出强大的泛化能力 [8, 116, 133]。具体而言现代 VLA 模型能够(i) 在以自我为中心的视觉上下文中构建自由形式的指令并生成相应的轨迹 [30, 148](ii) 生成思维链 (CoT) 论证如 DriveCoT 和 CoT-VLA [23, 124] 所示以增强可解释性(iii) 超越直接控制 token融入高级规划模块包括基于扩散的头部 [57]、基于 CoT 的分层规划器 [30] 以及混合离散-连续控制策略。近期的典型系统凸显 VLA 功能的广度[17, 30, 57, 153]并体现全新的 VLA4AD 范式它们联合推理视觉、语言和动作融合文本和轨迹输出、长视域记忆、符号安全检查和多模态扩散规划。这些进步代表着从以感知为中心的 VLM 流水线向动作感知、可解释和指令遵循的多模态智体决定性转变为更安全、更通用、更人性化的自动驾驶铺平道路。VLA4AD 的架构范式VLA4AD 的基本架构整合其多模态接口、核心组件和输出如图所示。多模态输入和语言指令 VLA4AD依靠丰富的多模态传感器流和语言输入来捕捉外部环境和驾驶员的高级意图。视觉数据。人类严重依赖视觉输入来应对复杂的驾驶环境自动驾驶系统亦是如此。在早期方法中单个前置单目摄像头是标准的视觉模式 [63, 89, 146]。随着时间的推移为了提高空间覆盖范围和安全性系统逐渐发展到包含立体摄像头、多摄像头设置并最终实现环视系统 [8, 116]。这种更丰富的视觉输入能够实现更稳健的场景理解和多目标推理。原始图像可以直接处理也可以转换为结构化的中间表示例如有助于空间推理的鸟瞰图 (BEV) [21, 139]。最近的研究进一步探索了输入分辨率和模型效率之间的权衡并针对实时或长尾情况动态调整粒度 [167]。其他传感器数据。除了视觉之外自动驾驶汽车越来越多地利用各种传感器模式来补充和增强感知能力以增强空间能力。初始系统集成激光雷达LiDAR用于精确的三维结构后来将其与雷达RADAR相结合用于速度估算并结合惯性测量单元IMU用于运动跟踪。GPS 模块提供全球定位 [8, 133]。该领域也越来越关注本体感受数据例如转向角、油门和加速度尤其是在行为预测和闭环控制方面 [20, 134, 142]。这种从几何到动力学的进展推动了更复杂的传感器融合框架的研究 [5, 10, 67, 129]旨在创建统一的环境时空表征。语言输入。自然语言输入例如命令、查询和结构化描述在 VLA4AD 中变得越来越重要。早期研究侧重于直接导航命令例如“在下一个十字路口左转”、“在红色汽车后面停”以实现基本指令的遵循 [96, 105]。随着系统的成熟环境查询应运而生允许用户或智体提出诸如“现在变道安全吗”或“这里的限速是多少”之类的问题[51, 93]从而实现交互式态势感知。进一步的进展引入任务级的语言规范例如解释交通规则、解析高级目标或理解以自然语言表达的基于地图约束[33]。最近的努力则转向多轮对话、推理链例如思维链提示[50, 119]和工具增强语言接口[41, 88, 99]这些支持更丰富的推理形式并与人类决策过程保持一致。最后最近的研究也开始将口语作为一种更自然、更具具体化的输入方式通过语音驱动的界面连接感知和交互[148, 165]。这种从静态指令到对话驱动的多步推理的进展反映一种更广泛的趋势语言不仅用于指挥车辆还用于实现可解释的协作式自主驾驶。核心架构模块VLA4AD 的基本架构将视觉感知、语言理解和动作生成集成在一个紧密相连的流水线中。视觉编码器。原始图像和传感器数据使用大型自监督主干网络例如 DINOv2 [94]、ConvNeXt-V2 [135] 或 CLIP [102]转换为潜表示。许多 VLA 系统采用 BEV 投影 [119]其他系统则通过点云编码器例如 PointVLA [67]或体素模块3D-VLA [161]融入 3D 先验。使用语言衍生的 K 进行多尺度融合可以提高精细空间层面的落地能力 [101, 152]。语言处理器。使用预训练解码器例如 LLaMA2 [121] 或 GPT 风格的 Transformer [6]处理自然语言。指令调优变型例如视觉指令调优 [74]和检索增强提示RAG-Driver [148]注入域知识。轻量级微调策略例如 LoRA [42]可实现高效的自适应。动作解码器。下游控制通过以下方式发出(i) 自回归 token 化器其中离散动作或轨迹点按顺序预测 [48, 64, 98, 168](ii) 扩散头以融合嵌入为条件对连续控制进行采样DiffVLA [57]Diffusion-VLA [130]或 (iii) GRPO [113] 或 DPO [103] 微调流程使用的流匹配 / 策略梯度专家 [70, 137]。分层控制器例如 ORION [30]允许语言规划器将子目标草图分发到单独的低级 PID 或 MPC 栈。驱动输出VLA 模型的输出模态反映了其抽象级别和操作目标。随着时间的推移输出格式已经从低级控制命令演变为高级空间推理和技能调节动作。低层动作。早期的 VLA4AD 系统通常侧重于直接预测原始控制信号例如转向角、油门和制动。这些动作通常被建模为连续输出或离散动作 token适合与 PID 或端到端控制流程集成 [30, 98, 143, 165]。虽然这种方案允许细粒度控制但它通常对细微的感知误差敏感并且缺乏长期规划能力。轨迹规划。后续研究转向轨迹或航点级预测这可以提供更稳定、更易解释的中间表示。这些轨迹通常以 BEV 或自我中心坐标系表示可以通过模型预测控制 (MPC) 或其他下游规划。总而言之这些输出格式体现 VLA4AD 系统不断发展的愿景不仅要驾驶还要实现鲁棒性、可解释性和情境化的驾驶。总而言之典型的 VLA4AD 模型以多模态传感器数据和自然语言输入为情境并生成驾驶决策在不同的抽象层次上在某些情况下还会生成语言落地的解释。VLA4AD 范式的进展VLA4AD 的研究呈现出明显的波澜每一波浪潮都受到其前身局限性和新的跨模态预训练技术的推动。如图所示追溯四个连续的阶段解释性语言模型、模块化 VLA4AD、端到端 VLA4AD 和以推理为中心的 VLA4AD。下表总结 2023 年至 2025 年期间的代表性 VLA4AD 模型重点介绍了它们的输入模态、语言融合方式、动作输出形式、用于评估的数据或环境以及它们的核心贡献。输入Single 单前置摄像头输入Multi 多视角摄像头输入State 车辆状态信息及其他传感器输入。输出LLC 低级控制Traj. 未来轨迹Multi. 感知、预测或规划等多项任务。预先VLA语言模型作为解释器最早的尝试将语言以被动的描述性角色进行整合以增强可解释性。此阶段的典型流程采用冻结视觉模型例如 CLIP[102]和 LLM 解码器以自然语言解释驾驶场景或推荐操作而不直接输出控制权。例如DriveGPT-4 [141] 会拍摄一张前置摄像头图像并生成文本描述或高级操作标签“减速”、“左转”。这些输出有助于解释感知系统看到的内容或意图从而提高透明度。然而实际的车辆控制仍然由传统模块PID 控制器等处理因此语言只是一种覆盖而非决策的组成部分。此外还出现了两个问题(i) 为每帧生成长描述会带来延迟因为视觉编码器每张图像要处理数千个 token[168] (ii) 通用视觉编码器在无关细节上浪费精力因为图像中并非所有内容都与驾驶相关[150]。研究人员对此提出了一些优化措施例如 TS-VLM [11]它使用文本引导的软注意池来聚焦关键区域以及 DynRsl-VLM [167]它动态调整输入分辨率以平衡速度和细节。这些措施提高效率但仍然存在语义鸿沟——叙述或token场景与生成精确的转向或制动指令不同。弥合这一差距是下一个的逻辑步。用于自动驾驶的模块化 VLA 模型随着 VLA 研究的进展语言从被动的场景描述符演变为模块化架构中的主动规划组件。语言的输入和输出不再仅仅用于评论环境而是开始直接为规划决策提供信息 [58]。例如OpenDriveVLA [165] 将摄像头和激光雷达输入与文本路线指令例如“在教堂右转”融合生成中间的、人类可读的航点例如“20 米后右转然后直行”然后将其转换为连续轨迹。这种方法通过引入可解释的语言表示增强了规划过程的透明度和灵活性。CoVLA-Agent [17] 将视觉和激光雷达token与可选的文本提示相结合并使用紧凑的多层感知器 (MLP) 将选定的动作token例如“左转”映射到相应的轨迹。同样DriveMoE [143] 采用混合专家架构其中使用语言提示根据上下文动态选择子规划器例如“超车专家”或“走走停停专家”。在多智体场景中LangCoop [33] 表明车辆可以使用简洁的自然语言消息进行通信从而在交叉路口进行协调这代表着朝着语言驱动的合作迈出了一步。SafeAuto [153] 结合以形式逻辑表达的符号交通规则来验证或否决语言驱动的规划确保生成的行为保持在安全约束范围内。此外RAG-Driver [148] 引入一种检索增强规划机制从记忆库中检索类似的过去驾驶案例以指导模糊或长尾场景中的决策。总的来说这些方法显著缩小语言指令和车辆动作之间的语义差距有效地将自然语言嵌入到规划循环的核心。然而它们通常依赖于多阶段流水线感知 → 语言 → 规划 → 控制这会在每个模块边界引入延迟和级联故障风险。这些局限性促使人们最近对更统一的端到端架构产生兴趣这些架构旨在将感知、语言理解和动作生成集成到一个可微系统中。用于自动驾驶的统一端到端 VLA 模型随着大型多模态基础模型的出现研究人员转向完全统一的网络这些网络在单次前向传播中将传感器以及可选的文本命令直接映射到轨迹或控制信号。一个典型的例子是 EMMA [50]它基于 Waymo 的自动驾驶数据训练了一个大规模的 VLM以联合执行物体检测和运动规划该模型学习一种服务于这两项任务的共享表示从而实现了比单独组件更好的闭环性能。 SimLingo[104]、LMDrive[110] 和 CarLLaVA[105] 以 LLaVA 为基础并在 CARLA 模拟器中对其进行微调使其能够遵循语言指令并进行驾驶。值得一提的是它们引入一种“动作梦境action dreaming”技术即模型通过改变语言指令来想象给定场景下的不同结果从而强制语言指令与最终轨迹紧密耦合。其他创新方法包括使用生成视频模型ADriver-I [53] 学习了一个潜世界模型可以根据给定的动作预测未来的摄像头图像帧从而能够通过想象动作的后果进行规划。DiffVLA [57] 结合稀疏航点和密集占用网格扩散预测以文本场景描述为条件生成轨迹有效地从合理的安全操作分布中采样。端到端 VLA 模型反应灵敏在感觉运动映射方面非常有效但也出现了一个新的局限性它们仍然难以进行长远推理提前规划或考虑复杂的突发事件也难以对其决策提供细粒度的解释。用于自动驾驶的推理增强型 VLA 模型最新一波 VLA4AD 超越了解释和规划调节转向长远推理、记忆和交互性将 VLM/LLM 置于控制环的核心。ORION [30] 将一个用于存储几分钟观察和动作的 Transformer“QT-Former”记忆与一个用于总结这些历史记录并输出下一轨迹和相应自然语言解释的 LLM 相结合。Impromptu VLA [18] 则将 CoT 与动作对齐。该模型基于 8 万个正确推理步骤已注释的极端情况片段进行训练学会在行动之前用语言描述其决策路径从而实现车辆之间零样本学习的协商。 AutoVLA [168] 将 CoT 推理和轨迹规划融合在一个自回归transformer中将连续路径 token 化为离散的驱动 tokens在 nuPlan 和 CARLA 上实现最先进的闭环成功率。总的来说这些系统不再仅仅对传感器输入做出反应它们在输出动作之前解释、预测并执行长远推理。它们指向能够实时口头解释动作的对话式自动驾驶汽车但也带来新的挑战索引城市规模的记忆将 LLM 推理保持在 30 Hz 的控制环路内以及形式化验证语言调节的策略。总而言之VLA4AD 模型已经从将语言作为被动解释工具发展到将其作为感知和控制的主动组成部分。从解释性感知到模块化 VLA 规划再到具有推理和对话功能的完全统一的流程视觉、语言和行动之间的闭环正在稳步闭合。这一进展表明自动驾驶汽车将成为具有对话能力和协作能力的智体——不仅能够安全驾驶还能进行符合人类期望的交流和推理。数据集和基准如下表总结数据集的工作Real 真实世界; Sim CARLA 仿真[26]; clips 视频片段; QA 问答对; CoT 思维链。训练与评估策略构建 VLA4AD 策略涉及两个相互关联的目标(i) 学习安全且高效的驾驶控制器(ii) 保留可靠的语言界面。由于驾驶数据的收集成本高昂且风险高大多数工作采用预训练 → 微调的流程在大型日志上进行行为克隆然后在模拟环境中或基于规则的约束条件下进行有针对性的优化。训练范式监督模仿学习 (IL)。IL 仍然是 VLA4AD 的主力网络采集传感器数据流以及如果存在语言提示并最小化 l2 或交叉熵损失以重现专家的控制或轨迹。虽然 IL 易于扩展但它反映训练分布罕见危险例如切入、行人遮挡很少受到监督。典型的补救措施是 DAgger 式的噪声展开或显式极端情况增强但当感知或语言基础失效时分布漂移仍然可能引发连锁反应。强化学习 (RL)。强化学习通常位于 IL 热启动之上。该策略与模拟器CARLA、Bench2Drive交互并通过 PPO 或 DQN 类型的更新进行优化以实现路线进度、避免碰撞和交通规则遵守。一个关键的悬而未决的问题是如何将驾驶奖励与语言保真度相结合当前的研究通常通过冻结语言学习模型 (LLM) 并仅惩罚不安全行为来回避这个问题而文本和控制的联合梯度在很大程度上尚未得到探索。因此用于 VLA 的强化学习前景广阔——尤其是在边缘情况鲁棒性方面——但与纯语言学习相比仍处于发展阶段。多阶段训练。大多数 VLA4AD 模型通过四阶段课程进行训练1在广泛的图像文本语料库和视频数据集上预训练大型视觉编码器如 CLIP、InternViT和语言模型如 LLaMA、Vicuna以学习一般的视觉和语言先验2通过对成对的图像-文本-动作数据进行微调来对齐模态——例如 NuInteract 上的 DriveMonkey [160]——使用跨模态对比损失和序列建模目标来绑定场景特征、语言提示和控制token3有针对性的增强注入专门的交通场景和指令例如 SimLingo 的极端情况剪辑 [105]、Bench2Drive 的挑战性路线 [55]通常辅以强化学习或基于规则的惩罚如 SafeAuto [153]以强制执行安全约束并提高在罕见事件中的表现 (4) 通过参数高效的方法LoRA 适配器、稀疏混合专家路由或师-生蒸馏压缩生成的模型以便部署从而减少计算、内存和延迟同时保留对齐的 VLA 功能例如 DriveMoE [143] 和 TS-VLM [11]。平衡语言和控制。联合损失通常将轨迹项与字幕或问答项进行加权例如CoVLA-Agent 使用 L L_traj λL_cap。一些作者交替更新——一批用于驾驶下一批用于语言——以避免梯度干扰。大型 LLM 通常保持冻结状态并通过轻量级适配器进行提示仅训练提示编码器从而在不产生巨大 GPU 成本的情况下保持语言流畅性。自由形式的解释使监督变得复杂人们已经探索 CIDEr 风格或基于 RL 的字幕调整但需要谨慎地奖励事实准确性而非修辞。可扩展性和效率。端到端 VLA 栈视觉transformer LLM 规划器每帧的计算速度可以超过数百 GFLOPs。因此当前的工作依赖于使用 LoRA 和适配器更新 70B LLM 中的数百万个参数 (SafeAuto [153])混合专家路由确保只有一部分专家在推理过程中运行 (Drive-MoE [143])轻量级 token 缩减——TS-VLM 通过软注意池化实现 10 倍的加速 [167]事件驱动的调度仅在场景变化时调用重型模型以及蒸馏在文献中仍然很少见将集群规模的策略压缩到嵌入式“微型 VLA”中。目前典型的流程包括CLIP 和 LLaMA通过模仿训练一个小型交叉注意头LoRA 将 LLM 调整到语言增强数据上可选地将强化学习应用于红灯处罚最后蒸馏结果用于车载部署。评估协议评估 VLA4AD 智体是一项双-目标任务策略必须安全驾驶并忠实地沟通。因此最先进的论文报告四个互补的指标闭环驾驶。CARLA /Becn2Drive[55] 上的路线成功率违规行为碰撞、闯红灯、越野其中 DiffVLA 通过 PDMS 层将误差减半 [57]通过逻辑否决检查规则合规性SafeAuto[153]以及对未见过的城镇和天气的泛化。开环预测。轨迹 y2 和碰撞率nuScenes 挑战赛指令条件下的目标到达率辅助感知头的可选 mAP/IoU以及延迟/FPS——TS-VLM 通过令牌池化将计算量减少了 ∼ 90% [167]。语言能力。在 SimLingo 的 Action-Dreaming 基准测试 [105] 中执行命令在 NuInteract [160] 和 DriveLM 上自动进行 BLEU/CIDEr/准确率测试TS-VLM 的 BLEU-4 56 [115]Reason2Drive 中的理由链一致性 [93]以及人类对 BDD-X 风格基本原理的评分。鲁棒性和压力。DynRsl-VLM [167] 分析的传感器扰动模糊、丢失、滞后对抗性提示或补丁分布外事件以及语言边缘例子习语、语码转换、多语言查询。总而言之可靠的评估必须衡量 (i) 控制可靠性、(ii) 语言保真度以及 (iii) 它们的耦合性。如今的套件分别涵盖这些方面——CARLA / Bench2Drive 用于控制NuInteract / Reason2Drive / Drive-eLM 用于推理——这凸显对融合两种流程的统一“AI 驾照”的需求。