056、VLA的实时性挑战：大模型推理延迟与动作频率的工程优化凌晨两点，实验室的机械臂又卡在半空中了。示教器上显示当前推理耗时380ms，而控制周期是100ms——这意味着机械臂每执行一个动作，就要等将近四个周期才能拿到下一个指令。这不是第一次了，上周跑RT-2的简化版时，同样的位置，同样的抓取任务，延迟直接飙到600ms，机械臂像得了帕金森一样抖个不停。当时我以为是模型太大，换了个小模型，结果动作成功率从78%掉到52%，更惨。后来才明白，VLA的实时性瓶颈从来不是单一因素，而是从模型结构到推理框架再到控制策略的一整条链路都在拖后腿。先说说最直观的问题：大模型推理为什么这么慢。VLA模型本质上是把视觉token和语言token拼在一起，送进Transformer里做自回归解码。以RT-2为例，输入是512个视觉token加上几十个语言token，输出是256个动作token，每个token都要过一遍完整的Transformer层。你算一下，假设模型有1.2B参数，单次前向传播的FLOPs大概在2.4G左右，在A100上理论算力是312TFLOPS，看起来绰绰有余，但实际推理时显存带宽、算子效率、batch size这些因素一叠加，真实吞吐量能到理论值的30%就烧高香了。更麻烦的是自回归解码是串行的，256个token要依次生成，每一步都要重新计算KV cache，这玩意儿在长序列下占显存不说，还拖慢计算速度。我踩过的第一个坑就是试图用完整的VLA模型直接跑实时控制。当时把RT-2的权重加载到3090上，输入一张640x480的RGB图，加上一条"pick up the red cube"的指令，单次推理耗时1.2秒。这还只是单帧，如果要做闭环控制，每个控制周期都要重新 056、VLA的实时性挑战：大模型推理延迟与动作频率的工程优化
056、VLA的实时性挑战：大模型推理延迟与动作频率的工程优化凌晨两点，实验室的机械臂又卡在半空中了。示教器上显示当前推理耗时380ms，而控制周期是100ms——这意味着机械臂每执行一个动作，就要等将近四个周期才能拿到下一个指令。这不是第一次了，上周跑RT-2的简化版时，同样的位置，同样的抓取任务，延迟直接飙到600ms，机械臂像得了帕金森一样抖个不停。当时我以为是模型太大，换了个小模型，结果动作成功率从78%掉到52%，更惨。后来才明白，VLA的实时性瓶颈从来不是单一因素，而是从模型结构到推理框架再到控制策略的一整条链路都在拖后腿。先说说最直观的问题：大模型推理为什么这么慢。VLA模型本质上是把视觉token和语言token拼在一起，送进Transformer里做自回归解码。以RT-2为例，输入是512个视觉token加上几十个语言token，输出是256个动作token，每个token都要过一遍完整的Transformer层。你算一下，假设模型有1.2B参数，单次前向传播的FLOPs大概在2.4G左右，在A100上理论算力是312TFLOPS，看起来绰绰有余，但实际推理时显存带宽、算子效率、batch size这些因素一叠加，真实吞吐量能到理论值的30%就烧高香了。更麻烦的是自回归解码是串行的，256个token要依次生成，每一步都要重新计算KV cache，这玩意儿在长序列下占显存不说，还拖慢计算速度。我踩过的第一个坑就是试图用完整的VLA模型直接跑实时控制。当时把RT-2的权重加载到3090上，输入一张640x480的RGB图，加上一条"pick up the red cube"的指令，单次推理耗时1.2秒。这还只是单帧，如果要做闭环控制，每个控制周期都要重新