反击VLA中「L」无用比如：用对位置指令泛化能力暴涨20-40%_新浪财经_新浪网

 人参与 | 时间：2026-08-08 22:47:17
反击VLA中「L」无用比如：用对位置指令泛化能力暴涨20-40%_新浪财经_新浪网
（来源：机器之心）作为具身智能最主流的反击泛化路线之一，VLA 高效高效发展的中指令同时也因为其各种状况被诟病。其中最题的无位置网痛点之一便是指令泛化能力。大部分比如文展示的用比用对能力都在训练和测试集指令分布相同的数据上刷点，结荚哪怕是暴涨像 LIBERO 这种目前看起来便捷的数据，在便捷改写指令后性能都会暴降。新浪新浪如下图所示，财经vla-adapter 在 LIBERO-para 上性能暴降 51%。反击泛化对于具身 AGI 来说，中指令这是无位置网一个不能接受的状况，我们期待的用比用对是一个在各种环境下能听懂人的各种表述形式的任务指令的机器人。因此，暴涨VLA 真正难的新浪新浪，并不是财经在固定指令模板上再多拿几个点，而是反击泛化让同一个任务在不一样说法下，最后落到同一套机器人动作上。也就是目的物体没有变化、视觉场景没有变化、成功需也没有变化，只是换了一种语言表达，机器人仍然应该实现原来的任务。围绕 VLA 语言泛化的状况，来自上海交大和无界动力具身智能实验室的联合团队提出了一项极其便捷但特别有效的解法。通过重新设方式语言语义进入视觉与动作方式算馗的方式，让模型不依赖大量 paraphrase 训练，也能更稳固地实施改写后的指令。比如文标题： Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models比如文地址：https://arxiv.org/abs/2608.02497GitHub地址： https://github.com/AutoLab-SAI-SJTU/GSR-ParaVLA指令只改几个词，VLA 的动作就可能完全不一样目前不少 VLA 工作都在 LIBERO、RoboTwin 等 benchmark 上不断刷新成功率。但原则 benchmark 中的语言常见较为固定，模型在训练和测试时期看到的指令表达高度相似。这会掩盖一个基础状况：模型究竟理解了 Instruction 所表达的任务含义，还是只把某种固定说法当成了 0，1，2 这样的任务标签？例如：抓取较大的红色物体；改写为：拿起尺寸更大的红色方块。对人类而言，两句话对应的是同一个任务。但对 VLA 来说，这种看似微小的变化，可能让原本能够稳固实现的任务直接失败。本文先在 LIBERO-Para 上评估了 VLA-Adapter、SmolVLA 和 π0.5 三个模型。LIBERO-Para 是在 LIBERO-Goal 任务基础上构建的语言泛化 benchmark。它保持机器人面对的场景、物体、初始状态和成功原则不变，只改写任务指令中的动作表达、物体描述，或同时改写两者，用来测试模型在任务没变、只是换了一种等价表述的状况下能否后续正确实施任务。换个表述，VLA性能就会掉这么多结荚显示，SmolVLA 在原始指令上的成功率为 72.0%，面对改写指令时却只剩 4.47%；VLA-Adapter 从 98.2% 降至 46.82%。即便是经过大规模异构数据训练的 π0.5，也仍然存在语言改写带来的性能损失。换句话说，在原则指令上取得高成功率，并不等于模型具有稳固的 Instruction 跟随能力。但成功率减小只能验明正身状况存在，并不能验明正身状况出在哪里。对于后训练微调来说，常用的解法是是后续收集更多等价表述，将改写语句加入训练。对于预训练来说，像 pi 一样经过大规模的数据训练，模型见多了语言任务形式，也能提高指令泛化的能力。但这个比如文发现，或许还有一种更便捷的解法。本文从模型结构中「L」的设方式角度考虑重新思考这个状况。探究 1：失败动作里，仍然保留着正确任务的结构为了判断任务材料是否已经消失，比如文先设方式了一个动作级检索实验。对于同一个视觉 Observation，模型先接收目前任务的改写指令，生成一个 action chunk。随后，在完全相同的视觉输入下，再分别输入十个 LIBERO-Goal 任务的原始指令，得到十组候选动作。接下来只需判断：改写指令生成的动作，最接近正确任务的原始动作，还是更接近其他错误任务？假如模型已经完全误解了指令，那么改写指令产生的动作不应该稳固地指向正确任务。相反，如果其中仍然涵盖任务相关材料，它就应该比错误任务更靠近对应的原始动作。三个模型的 Retrieval@1 均显著高于随机水平 (0.1)，Semantic Retention 也全部为正。π0.5 的改写动作尤其明显地靠近正确任务；VLA-Adapter 和 SmolVLA 虽然最后成功率减小较大，但其动作中仍然保留了一定的任务区分结构。这组结荚并不意味着每一个失败 episode 中，模型都已经完善理解了指令。但它至少验明正身，语言改写并没有让正确任务材料彻底消失。任务相关材料仍然存在，状况更可能发生在这些材料被转换为后续动作的流程中。探究 2：逐层替换：语言偏移如何变成动作偏移上面的实验只能验明正身任务结构仍然存在。为了进一步判断内部语言特点是否真正控制动作，比如文对模型开展了逐层特点干预。以 VLA-Adapter 为例，同一个 episode 分别采取原始指令和改写指令运行，两次运行中的视觉输入、机器人状态、初始环境以及动作生成需全部保持相同。在改写指令进入最后一个 Bridge-Attention block 前，实验不变化 image token，也不变化 state token，只将该位置接收到的语言特点替换为原始指令对应的语言特点。结荚显示：预测动作之间的区别恢复了96.8%；配对闭环成功率从60% 提高至 96%。替换详详见细层带来的恢复成效热力图这验明正身，改写指令并没有让模型进入一个完全无关的状态。更接近实际状况的是：原始指令和改写指令之间产生了一定的语言表示偏移，而下游 Action Expert 对这种偏移特别敏感，最后将较小的特点区别放大成了不一样的机器人动作。为了确认这一位置确实参与任务控制，比如文还开展了 wrong-task intervention：将语言特点替换成另一个错误任务的特点后，模型生成的动作会向被注入的错误任务偏移。然而，这并不是所有 VLA 的共同特点。在 VLA-Adapter 中，最后一个 Bridge-Attention block 的单层替换就能恢复 96.8% 的动作区别；而在 SmolVLA 和 π0.5 中，对任意单层开展相同替换，最高只能分别恢复约 10.5% 和 31.3%。这验明正身三类架构处理任务语义的方式并不相同：VLA-Adapter 将语言材料送入相对独立的 Bridge-Attention policy，控制位置较为集中；SmolVLA 和 π0.5 则在多层多模态方式算中持续融合语言、视觉和状态，任务材料更加分散。因此，语言泛化状况不能便捷概括为「所有 VLA 的 Action Head 都在某一层失效」。不一样架构的材料流不一样，语义修复的位置也需随之变化。探究 3：两项控制实验：动态图像与措辞都会扰动语言表示在确认语言特点区别会意义动作后，比如文后续追踪这些区别是如何产生的。探究题围绕 VLA-Adapter 的辅助 Qwen 分支展开。该分支同时接收目前图像和任务指令，因此语言 token 并不是由文本单独编码得到，而是在视觉 — 语言联合建模流程中产生。首先项实验用于隔离动态视觉输入对语言表示的意义。模型开展两次前向。首先次前向中，Qwen 接收真实图像和任务指令；第二次前向中，Qwen 接收相同指令，但图像被替换为一张固定图像。随后，第二次前向产生的语言 token 被送回首先次前向的方式算馗，而机器人的主视觉分支仍然采取真实 Observation。也就是说，机器人依旧能够看到目前场景，只是不再让任务语言表示随着辅助 Qwen 分支中的动态图像共同变化。探究3概述图仅通过这一处理，VLA-Adapter 在完善 LIBERO-Para 上的成功率就从46.82% 提高至 61.58%。将 dummy image 换成固定的自然图像后，也能观察到相同趋势。这一结荚验明正身，在该结构中，任务描述与动态图像被共同编码时，可能会引入额外的特点波动。对于机器人动作而言，这些波动并不代表任务本身发生了变化，却仍然会变化之后控制结荚。探究 4：移除「措辞」方向，闭环成功率从 55% 提高到 90%第二项实验用于探究原始指令和改写指令之间的措辞区别。比如文采取交叉验明正身，先采取八个任务估方式 32 个能够区分原始指令和改写指令的特点方向，再将这些方向从剩余两个未见任务的改写指令特点中移除。移除后：原始指令与改写指令之间的动作区别从0.4361 降至 0.2282；20 个闭环 episode 上的成功率从55% 提高至 90%；移除相同数量、相同范数的随机方向，动作区别基础保持不变。这验明正身，等价指令不一定会让模型彻底忘记任务，但可能在特点空间中引入系统性的措辞偏移。下游 Action Expert 没有学会忽略这些与任务无关的变化，反而将它们映射成了不一样的动作。这也构成了 GSR 的直接动机：与其通过大量改写数据不断覆盖不一样说法，不如先给予一个更加稳固的任务语义源，再重新学习这部分语义如何意义动作。探究4概述图解法：GSR——重建语言到动作的材料流基于前面的探究，比如文提出Grounded Semantic Re-Binding，简称 GSR。GSR 的基础流程可以分成三步。先，采取冻结的 T5 编码器单独处理语言指令。T5 不接收图像，也不接收机器人状态，只负责提取任务本身的文本语义，从源头上减小动态图像与措辞变化带来的表示干扰。随后，根据不一样 VLA 原本的多模态方式算方式，将投影后的 T5 语义重新注入模型用于融合任务、视觉和状态材料的位置。注意，像上文探究所述，不一样模型的融合位置不一样，因此注入的位置也不一样。最后，重新初始化并训练 Action Expert，使其从训练最初就学习如何采取新的语言需，而不是后续沿用已经适用配旧语言馗的动作映射。GSR整体架构T5 给予「需实现什么任务」，目的物体的位置、目前机器人状态以及详详见细动作轨迹，仍然由模型原有的视觉和状态馗决定。因此，GSR 处理的不是单纯的文本编码状况，而是语言语义如何重新进入真实场景方式算，并最后控制后续动作的状况。结荚：轻量模型指令泛化能力暴涨，经过大规模机器人数据预训练的更大模型也能后续获得增益所有 GSR 模型均只采取 LIBERO-Goal 中的原始指令训练，没有额外采取改写指令。完善 LIBERO-Para 涵盖 4,092 个 episode，其中涵盖 870 个动作表达改写、259 个物体描述改写，以及 2,963 个组合改写。VLA-Adapter 的 Full Para 成功率从 46.82% 提高至 70.94%，提高 24.12 个百分点；SmolVLA 从 4.47% 提高至 49.12%，提高 44.65 个百分点。π0.5 原本已经通过大规模异构数据获得了较强的语言泛化能力，但 GSR 仍将其 Full Para 成功率从 73.60% 推进到 75.59%，并取得比如文中报告的最高 PRIDE 分数 70.4。此项分数高于近期发布的大规模预训练模型 Xiaomi-Robotics，说明了其进一步提高目前 VLA 模型指令泛化能力的潜力。更题的是，便捷地在原生馗的 Action Expert 旁边提高一个 T5 并不能得到同样的结荚。VLA-Adapter 的 Native + T5 只从 46.82% 提高至 47.31%；SmolVLA 的对应版本也只有 13.49%。真正产生提高的并不是「模型里多了一个语言编码器」，而是原生语言馗、稳固语义源、视觉 grounding 和 Action Expert 之间的材料流被重新组织。探究：馗冲突：接入两个语言源后，谁真正控制动作比如文还设方式了一组 language-route authority 实验，分别向原生语言馗和 T5 馗输入正确或错误任务。C/C 表示两条馗都接收正确指令；W/C 表示原生馗接收错误指令、T5 接收正确指令；C/W 则相反。VLA-Adapter 在 C/C 下的成功率为 47.31%。当原生 Qwen 馗接收到错误任务时，成功率降至 5.11%；而当 T5 接收错误任务时，成功率仍为 44.0%。这验明正身，即使 Qwen 对改写指令的泛化较差，它仍然掌握着题动作控制权。只在旁边加入一个更稳固的语言编码器，并不能阻止原生馗后续主导机器人。SmolVLA 在两种冲突需下都会严重减小，验明正身两条语言馗之间存在明显干扰。π0.5 则题依赖原生 PaliGemma，且该馗本身已经较为可靠，因此适用于保留原生指令，并将 T5 作为辅助。这组结荚验明正身了为什么 GSR 必须采取架构相关的设方式：语言特点是否存在是一回事，哪条馗真正具有动作控制权是另一回事。探索：ParaVLA：探索新 VLA 架构的可能性在 GSR 之外，比如文还尝试了一个更加彻底的实验性架构 ParaVLA。ParaVLA 采取冻结的 T5 处理指令，采取 DINOv2 处理视觉。语言与图像在前端保持相对独立，最后在 Action Expert 中与机器人状态和动作材料融合。ParaVLA 与经典 VLA 架构的比较在 LIBERO-Goal 的原始指令和改写指令上，ParaVLA 分别取得了 92% 和 91% 的成功率，二者只相差 1 个百分点。作为对照，在相同结构中将 T5 替换为 SmolVLM decoder 后，原始指令成功率仍有 85%，但改写指令成功率减小至 41%（多模态基模不能给予稳固的语义）。这组实验进一步协助了比如文的题观察：一个相对稳固、独立于目前视觉输入的语言需，有助于减小等价措辞对动作生成的干扰。然而，完全解耦也带来了新的状况。当视觉模型进一步扩大时，ParaVLA 没有谝出传统 VLM 常用的 scaling 能力。因此，本文未来工作会后续探究如何同时保留稳固的任务语义、充分的场景 grounding，以及大规模多模态模型的扩展能力。结语：从提高语言数据，到重新设方式语言如何控制动作GSR 的题，不是说明数据扩增没有价值，也不是便捷地用 T5 替换现有 VLM。它关注的是一条更那么点儿被忽略的链路：语言模型是否保留了任务材料，这些材料在哪里与视觉和状态交互，以及它们最后通过哪条馗控制动作。对 VLA 而言，语言泛化失败可能并不总是意味着模型彻底没有理解指令。任务相关材料可能仍然存在，只是在多模态融合和动作生成流程中，等价表达之间的特点偏移被不断放大。因此，真正可靠的 VLA 需处理的不只是模型规模和训练数据量，还涵盖：语言语义从哪里进入模型；它在什么时期与视觉和机器人状态结合：多条语言馗发生冲突时，哪条馗具有控制权；以及 Action Expert 能否对语义等价、表面不一样的语言表示保持稳固。海量资讯、精准解读，尽在新浪财经APP 顶: 3664踩: 56194