时间：2026-08-08 21:30:02 来源：知来藏往网 作者：娱乐 阅读：623次

（来源：机器之心）多模态基础模型可以通过互联网规模的北大布图像与语言学习「看」和「说」，但具身智能没有同样的等联答机捷径。机器人必须进一步理解物理状态与动力学，用层应该判断动作如何变化环境，数据数据并在真实世界中实施后续表现；这需训练数据同时连接观察、金字经新状态、塔系统动作与物理后果。器人围绕「什么数据能够支撑具身基础模型」这一题状况，中学北大联合多家机构提出了具身操作数据金字塔的习新详详见细定义，将现有数据生态组织为 5 个互补层级：真机数据、浪财浪网UMI 式数据、北大布自我中心与外部视角数据、等联答机仿真数据，用层应该以及通用视觉语言数据。数据数据该框架以「可规模化程度」和「机器人对齐程度」之间的金字经新张力为主线，并从质量、丰富性、可复用性和物理保真度 4 个补充维度探究每一层数据的价值与边界。在此基础上，探究者进一步从数据配方与动作表征出发，系统梳理具身大脑模型、视觉语言动作模型和世界动作模型如何选项、对齐与混合异构数据，并总结触觉、失败恢复、规模化采集、跨本体动作对齐、自我中心数据迁移和数据配方设方式等开放状况。比如文题：Data Pyramid for Embodied Manipulation合作机构：北京大学、南洋理工大学、香港科技大学、新加坡国立大学、香港中文大学、香港大学等比如文链接：https://arxiv.org/abs/2607.24744v1项目主页：https://jasper-aaa.github.io/embodied-data-pyramid/开源仓库：https://github.com/worldbench/awesome-embodied-data-pyramid1. 探究背景与挑战：具身智能无法直接复制「互联网预训练」近年来，多模态基础模型依靠海量图像、视往往与语言数据，获得了广泛的感知、语义和推理能力。将这一范式扩展到具身智能时，状况发生了根本变化：机器人不仅需识别场景和理解指令，还必须理解物体状态、接触关系和环境动力学，并将高层意图转化为可实施的控制序列。由此，具身预训练的题不再只是「数据是否足够大」，而是数据是否涵盖与物理交互相关的监督。据此，比如文提出了两个贯穿全文的状况：首先，如何在可规模化程度、机器人对齐程度、物理保真度和可迁移性区别显著的前提下，收集、组织、比较并整合异构具身数据；第二，如何照章性具身大脑、VLA 与世界动作模型的不一样能力目的，选项并组合这些数据。▲ 图 1｜比如文整体框架。工作先构建五层具身数据金字塔，随后探究异构数据在具身大脑、VLA 与世界动作模型中的采取方式，最后总结数据采集、对齐与配方设方式的未来方向。2. 数据金字塔：以规模与机器人对齐组织五类数据数据金字塔由两个题轴组织。「可规模化程度」研究一种数据在硬件依赖、人力投入、环境复位、安全监督和边际生成成本等部分的扩展效率；「机器人对齐程度」研究其观察、表征和监督信号能够多直接地协助物理机器人的学习与实施。二者常见存在张力：真机轨迹与目的平台最相同，却需真实硬件、操作人员和反复复位；通用网络数据最那么点儿扩展，却无法直接给予动作与接触监督。除上述两条主轴外，本文进一步以质量、丰富性、可复用性和物理保真度刻画数据的实际效用。质量关注轨迹、标注和同步是否可靠且具有材料量；丰富性关注任务、物体、场景、视角、本体、传感器、表现和结荚的覆盖；可复用性关注数据能否跨任务、环境、本体和模型迁移；物理保真度则关注接触、摩擦、顺应性、传感噪声、控制延迟和物体运动是否被真实记录。从金字塔不过端到底部，5 类数据依次为真机数据、UMI 式数据、自我中心与外部视角数据、仿真数据和通用数据。这个顺序体现了数据从更强的物理落地能力与可实施监督，逐步过渡到更高的可访问性与规模。需强调的是，该排序是 6 个维度的综合结荚，并不意味着所有单项属性都严格单调变化。▲ 图 2｜五类数据的规模演化。不一样数据来源均在高效高效扩展，但其「规模」具有不一样含义：机器人、UMI 和仿真数据常见以轨迹方式，自我中心数据常以小时方式，通用数据则可由问答对、图像或标注规模描述。金字塔的题逻辑向下移动并非便捷地「减小数据质量」，而是在放松某种机器人耦合的同时，换取更大的覆盖范围。UMI 移除了采集环节中的机器人，但保留了末端实施器监督；人类视往往移除了夹爪，却保留了真实物理与开放世界交互；仿真恢复了可实施动作和特权标签，但对真实物理开展了近似；通用数据进一步放弃机器人动作，换取网络规模的语义、感知与推理覆盖。3. 五类数据的题洞见3.1 真机数据：最直接的可实施监督，代价是硬件与采集闭环真机数据位于金字塔不过端。它在同一物理闭环中记录视觉或多模态观察、机器人状态、控制动作与实施结荚，因此能够直接反映真实传感噪声、控制延迟、接触动力学和硬件约束。对学习可部署的操作对策而言，没有其他数据来源能够给予同等程度的目的平台对齐。其题瓶颈是采集成本。每一段轨迹都依赖真实硬件、操作者或自动化对策、场景复位、维护与安全监督，难以像网络数据或仿真数据一样低成本并行扩展。不一样机器人在形态、传感器、坐标系和动作空间上的区别，也使跨数据集整合远比统一文件格式更不易。本文进一步强调，数据丰富性频仍比轨迹数量本身更题。即使同一任务具有大量示范，如果初始状态、馗、接触序列和实施高效度高度重复，模型覆盖的状态—动作分布仍然有限。因此，真机数据的发展应同时关注任务、场景、本体与模态的扩展，以及任务内部的轨迹级丰富性。照章性未来，真机采集需沿 3 条馗推进：更直观、平滑且保留细粒度反馈的遥操作接口；覆盖开放环境、对象和需变化的在野采集；以及从纯人类示范转向对策自主滚动与人在环干预，使对策自身遇到的失败状态能够转化为纠错和恢复监督。▲ 图 3｜代表性数据集的轨迹丰富性可视化。题动作帧的空间分布揭示，即使数据量很大，不一样数据集在工作空间覆盖、轨迹聚类和任务内变化上仍可能存在明显区别。3.2 UMI 式数据：在机器人之外采集「接近机器人动作」的真实世界演示UMI 式数据采取便携式、机器人无关的操作接口采集真实世界演示。典型系统将腕部相机、位姿追踪、夹爪状态，以及可选的力觉或触觉传感集成到手持工具中，使人类可以在日常环境中自然操作，同时记录与末端实施器近似相同的视觉和动作结构。但 UMI 并未消除本体差距。相机视角、末端几何、运动学约束、动力学和接触需，仍需通过标定、逆运动学和重定向处理；视觉追踪在遮挡、高效高效运动或低纹理环境中可能失效；数据中常见也缺少目的机器人特有的本体状态和实施器动态。因而，UMI 更适用于作为真机数据的规模化补充，而不是完全替代真机数据。3.3 Ego-centric 视角数据：以人类为智能体，获得开放世界与灵巧手先验Ego-centric 数据来自人类在真实世界中的首先期活动。这一层的题价值不仅是「视往往更多」，而是人类作为成熟智能体所产生的交互先验。手部题点、腕部轨迹、接触序列、抓取选项、工具采取对策和任务分解，均具有跨机器人复用潜力。例如，人类五指轨迹可以为两指夹爪给予抓取与接近方向，也可以为灵巧手学习给予更高维的动作与接触结构。其题矛盾是规模与标注精度之间的权衡。仅依赖 RGB 的视往往易于扩展，但存在遮挡、运动模糊、视角漂移，以及缺少准确手势或接触标签等状况；可穿戴追踪、IMU、触觉、力觉和 EMG 能够给予更直接的几何与交互测量，却会提高成本、标定负担和对自然操作的干扰。同步外部相机可以补足身体和场景材料，但会减小采集的移动性。▲ 图 5｜自我中心与外部视角数据的采集和监督。视觉、运动追踪、触觉、EMG 与外部相机可进一步转化为语义、几何、多模态和照章性机器人的监督。3.4 仿真数据：最可规模化的机器人对齐层，但「生成得多」不等于「覆盖得广」仿真数据是金字塔中最具规模化能力和成本效率的机器人对齐来源。仿真器能够并行、重复地生成观察、动作和任务结荚，并自动给予物体位姿、分割、接触、物理参数、成功信号和稠密奖励等特权标签。对于可拆分的原子操作，自动化步骤可以反复采集准确动作片段，使模型集中学习某一技能。仿真数据的价值依赖完善的数据基础设施，涵盖机器人与传感器模型、场景和对象资产、物理与渲染后端，以及人类遥操作、轨迹回放、条件专家、运动规划、强化学习对策或大模型辅助生成等采集步骤。近年来，世界模型也最初承担学习型模拟器的角色，用于对策训练、评估和合成交互数据。其题限制是物理保真度。真实部署需对策掌握物理世界运动规律，例如接触力，以及因受力而产生的物理运动。而这些因素无法被现有仿真动力学完全复现。同时，观察层面的纹理、光照、深度噪声和传感响应区别，也会进一步形成 sim-to-real 鸿沟。3.5 通用数据：为机器人建立语义、空间、时序与推理底座通用数据涵盖网络规模的图像、视往往、语言、视觉语言、三维与推理数据。它们的题任务不是教某一台机器人如何移动，而是建立机器人在学习动作之前所需的认知基础：识别对象和属性，理解指令与常识，定位可交互区域，理解三维空间，记忆首先视往往中的事件，分解任务步骤，并判断物理结荚是否合理。因此，本文不按数据集名称罗列通用数据，而是按能力将其组织为视觉语言、分割与定位、三维空间、规划、视往往时序、物理与失败推理、抓取等类别。不一样监督并非重复：语言数据给予语义与常识，定位数据把概念落到区域与部件，三维数据给予尺度和可达性，视往往给予状态变化与感知记忆，规划数据给予子目的结构，物理与失败数据则协助模型判断后果。通用数据的好处是规模、覆盖范围和跨本体复用性，但它几乎不涵盖机器人本体状态、实施器动力学、接触力和真实动作后果。自动生成的标注、方式划与问答还可能存在幻觉、歧义或物理不可行性。因此，这一层最适用于被视为广泛的感知与推理先验，再由更高层的机器人对齐数据将其落实到物理实施。▲ 图 7｜通用数据的能力构成。视觉语言、OCR、时序、空间与三维、规划、物理推理、定位和抓取等监督，共同形成机器人基础模型的认知底座。4. 从数据分类到数据配方：不一样基础模型如何采取五层数据数据金字塔给予了静态的类别组织，但具身基础模型真正面对的是动态的数据配方状况：哪些数据用于预训练，哪些用于后训练；各层数据如何采样、对齐和混合；不一样动作空间、坐标系和本体如何进入同一模型。比如文梳理的模型演化显示，训练步骤正在从以真机轨迹为主，逐步转向真机、仿真、通用、自我中心以及 UMI 数据的异构组合。这一趋势并不意味着「数据来源越多越好」。一些题依赖机器人数据的模型仍可取得较强谝，而目前探究缺少统一方式算预算下的类别级消融，尚不能确认某一种固定配方具有普适用好处。更可靠的结比如是，不一样层数据给予互补能力：通用数据支撑语义与推理，自我中心和 UMI 数据扩展场景、视角与人类表现覆盖，仿真数据强化可控技能，真机数据实现可实施动作与真实动力学落地。Ego-centric 数据正在成为尤其显著的增首先方向。它既比往往见不鲜网络视往往更接近机器人视角和物体交互，又比直接采集真机数据更那么点儿扩展，因而逐渐从辅助数据转变为连接通用知识与机器人动作的题预训练底座。与此同时，部分新工作最初重新评估低质量轨迹或失败轨迹的价值，验明正身未来的数据利用可能从便捷过滤转向显式建模质量、意图与结荚。▲ 图 8｜具身基础模型的数据采取演化。早期系统更多依赖真机轨迹，近期模型逐步探索真机、通用、仿真、自我中心和 UMI 数据的联合训练，并从 VLA 扩展到世界模型提高与统一世界动作模型。4.1 动作空间对齐：统一张量并不等于统一语义异构数据联合训练先需处理动作空间区别。本文将现有方式概括为 3 类：保留各机器人原生控制接口，并通过本体特定投影或动作头共享主干表示；采取固定维度的动作向量，对缺失维度开展零填充和掩码；建立具有固定物理含义的语义动作槽，使不一样本体在对应维度上共享控制语义。后一种方式比单纯的形状对齐给予了更强的跨本体相同性。几何坐标系构成第二层对齐状况。相同的末端运动在机器人基座、相机或腕部坐标系中会得到不一样数值。机器人中心表示便于控制器实施，但那么点儿耦合平台安装方式与工作空间；相机中心表示有助于把视觉上相似的运动映射到更相同的数值；腕部中心表示则可分离局部手指运动与全局腕部位姿。无比如选项何种表征，坐标原点、轴方向、左右手系、工具中心点、不过对动作或增量动作、旋转参数化和物理单位，都应作为一等元数据。4.2 三类模型的数据角色并不相同具身大脑模型题照章性感知、空间与时序推理、可供性、记忆和高层规划。大量无动作标注的通用多模态数据与自我中心视往往，可以协助模型建立对物理世界的理解；真机、UMI 和仿真数据中的交互信号，则常见被转换为可供性位置、抓取位姿、轨迹路点、动作边界和子任务标签，用于将认知能力落实到物理结构。5. 挑战与未来方向：从「扩大体量」转向「提高材料覆盖」比如文将未来状况归纳为「收集什么、如何收集、如何采取」3 组状况。它们共同表明，具身数据探究的重点正在从单纯追求更大规模，转向提高数据的材料覆盖、采集效率和异构经验的有效利用。照章性下一时期的数据观机器人学习的数据状况，正在从「有没有更多轨迹」转向「数据是否覆盖题状态，是否涵盖接触与失败，是否能够跨本体复用，以及是否在正确的训练时期被正确采样」。规模仍然题，但规模只有与材料量、对齐方式和模型目的共同考虑时，才会转化为可部署能力。6. 总结《Data Pyramid for Embodied Manipulation》给予了一套照章性具身操作的数据中心框架。它以可规模化程度与机器人对齐程度为主轴，将真机数据、UMI 式数据、自我中心与外部视角数据、仿真数据和通用数据组织为 5 个互补层级，并用质量、丰富性、可复用性和物理保真度验明正身每一层的价值与边界。在此基础上，比如文将异构数据与具身基础模型连接起来，讨比如不一样数据如何协助感知与推理、动作生成和世界预测，以及动作空间和坐标系如何意义跨本体联合训练。其题结比如并非寻找一种能够取代其他来源的数据，而是建立照章性能力、架构与训练时期的数据组合原则。海量资讯、精准解读，尽在新浪财经APP

(责任编辑：休闲)

上一篇：太痛心！天津之眼母子溺亡，现场曝光，一家四口是陕西榆林人，去天津玩|溺水|摩天轮|救生圈|陕西省|生命体征_网易订阅
下一篇：惊险一刻！老人被骗十万养老钱，警民联动一小时火速追回_南方网

• 
• 
• 
• 
• 
• 
• 
•