专访复旦深度学习实验室主任陈涛：具身底层模型架构急需突破，两年内难迎具身“GPT时刻”_新浪财经_新浪网

具身智能讨比如的专访热度正在持续升温，在密集讨比如技术路线、复旦数据困局之外，深度实验室主身底目前的学习型架需突具身模型能否处理真实物理世界中的意外状况、能否在行动失败后自主纠错、任陈持续学习，涛具仍是层模具身智能模型必须面对的状况。近日，构急复旦大学未来材料创新学院教授、破两博士生导师，年内难迎复旦大学深度学习实验室主任陈涛在接受澎湃科技（www.thepaper.cn）专访时，具身经新把目前具身智能的刻新困境指向了目前具身模型的学习和训练范式。他认为，浪财浪网主流VLA（视觉—语言—动作模型Vision-Language-Action）模型高度依赖数据，专访而现有训练数据大多数是复旦成功轨迹，缺少失败的数据，这让机器人在实施动作出现偏差后，难以像人一样按时调整轨迹，把失败转化为下一次行动的经验。陈涛首先期横跨学术探究与产业实践。他目前同时担任具身智能企业眸深智能联合创始人。加入复旦前，他曾在新加坡智能机器人实验室、新加坡资讯通信探究院和华为新加坡探究中心从事研发工作。语言模型架构是否适用配具身模型，陈涛认为值得质疑，“为什么语言模型架构一定适用于处理物理世界的状况？这个前提不成立。”在他看来，行业近半年持续强调数据、在VLA等部分的投入，并没有充分触及具身大脑的底层模型架构。他直言，具身底层模型架构急需突破，两年内很难实现具身模型的“GPT”时刻。面对世界模型，陈涛认为，世界模型关键把整个世界给建模进去，但它对数据和成本的需特别高，“不是常见玩家能玩得起的”。相比让机器人“上知天文、下知地理”，更务实的馗是让它先理解详详见细的作业场景，形成适用于于细分任务的模型能力，实现从“看得懂”到“干得好”的跨越。当科技大厂凭借资金、数据和本体资源进入机器人大脑赛方式，类似眸深智能的初创公司生存空间在哪里？陈涛认为，大厂不愿意做的交付工作，正是初创公司的机会。而在具身智能这样一个技术高效高效往往代的新赛方式，最前沿的人才仍然集中在高校实验室里。“赛方式里最好的人才，还是学校里正在读的博士生。大厂问我关键实习生，我没给。”陈涛说。以下是澎湃科技和陈涛的专访材料：目前的模型训练范式缺少“失败数据”澎湃科技：近期多家具身模型公司都在发布“原生大脑”模型，什么是“原生”模型？陈涛：相对于传统做法，我理解的“原生”走的是一条预训练加部署的路线：在云端用大量显卡把“大脑”大模型训练好，再部署到新的设备上采取，这是严格的“训练–部署”两时期流程。但对机器人的大脑来说，无比如怎样预训练，它在端侧实际实施的成功率终究很难超过70%甚至80%。大脑能力的进化实际上关键依靠机器人实施详详见细的任务，能不能从失败的案例中反思、纠正自己的表现，这就是在端侧的原生进化能力，即“原生大脑”。原生大脑伴随机器人的身体，在干活流程中，通过对失败经验的积往往，以及对作业成功和失败的不断思考与总结，慢慢进化而来。通俗来理解，像人脑一样会不断自我改进和持续学习，当预练好的大脑被放进机器人身体的那一刻起，它的作业和操作还必须不停地进化和积往往经验。澎湃科技：目前机器人大脑自进化的能力到了什么样的时期？如果具有了自主学习或决策的能力，应该算是一个质的突破吧？陈涛：目前还没有被完全攻克。具身物理AI比语言模型复杂，它的自我进化能力也落后于语言模型。不管是语言大模型、具身大模型，目前都在想方式处理两个题状况：自进化和持续学习的能力，例如能不能处理首先程任务。目前深度探究领域还在推进具身物理AI模型自我进化的探究，但甚至连一半状况都还没处理。我们在实验中发现，目前市场上主流的VLA模型还不能实现真正的自我学习和知识更新，缺少自主纠错和持续学习能力。例如机器人伸手抓手机时伸过了头，它可能停在那里，而不能像人一样转回来重新抓取。澎湃科技：卡点在哪里？陈涛：还是在目前模型的学习范式和训练范式上，太过依赖数据。数据里没有失败的案例，全是成功的案例，模型只能从成功里复制经验。但真正对机器人更题的，恰恰是那些失败的数据，以及从失败中纠正－成功的数据。我们目前的机器人只见过直接抓手机成功的那一条轨迹，从来没有见过失败再纠正的轨迹，因此没有自我学习能力。但失败的数据对具身模型其实是特别宝贵的数据，很多现实环境和复杂配置，是实验室无法完全模拟的。认识到状况所在，我们也就更关注如何在有限的数据里总结成功的经验，利用大模型对未见事件的预测能力生成候选轨迹，然后再自我评判、纠正，生成成功概率更高的轨迹。我们没有完全摒弃数据，但并不希望大脑能力过度依赖数据。在我们的模型训练中，大概采取8:1:1的关系，80%来自开源世界的数据，同时两部分包含真实场景素材，以及模型轨迹向真实机器人本体的映射。我们精力都花在了模型层面的进化上，而不是去把数据清洗得更干净、采得更多、标注得更好。真正进工厂干活的机器人比例可能不到10%澎湃科技：这次世界人工智能大会上展示了很多具身智能落地的场景，你怎么看这些展示与真实落地之间的差距。陈涛：具身智能整体还在发展期，技术路线也没有完全收敛，每天技术路线和算法都在往往代，最好不关键给企业太多压力，让它们有比较好的成首先空间和时间。现场落地的实施效率不及预期可能有很多因素，例如通信的延迟、算力存储不足等，以及训练的语料不够导致遇到新的任务时，思考的时间会更首先。我认为，随着时间的推移，时延肯定会越来越小。澎湃科技：今年上半年，美国Figure AI以及国内头部的机器人公司给大众展示了机器人在工厂里直播“干活”的材料，你有注意到吗？陈涛：我看过一些视往往，我们认识下来，有些机器人拍完视往往之后并没有真正在工厂的场景里采取起来。从视往往展示来看，整体实施效率也比较慢，还不是工厂里真正的生产节奏。真正进入工厂干活的比例仍然特别低，我不太能断言详详见细有多少，但可能不到10%。澎湃科技：你认为从Demo走向真实产线，最大的卡点是什么？陈涛：还是几个状况没处理，泛化的状况、成本的管控和节拍的准确性。泛化的能力需更强，机器人见到突发状况或没有见过的物料，关键有灵活应变能力和处置能力；“大脑”的成本关键更低，客户都不希望采取昂贵的算力芯片，但反应高效度也不能太慢，否则一个生产节拍已经结束，大脑还没有回过神，这样会拖往往整个生产效率。同时，目前机器人硬件也还没有那么稳固和成熟，一些传感器、电机，灵巧手等频仍会坏掉。澎湃科技：大众对具身心理预期和实际落地详详见细有多大的区别？陈涛：很多自媒体视往往无形拉高了大众的心理预期，大家以为机器人已经能处理各种状况，还很聪明、很智能，但其实很复杂。机器人即便是实现取药这样一个任务，并不是只有“拿起药品”一个动作：它需先识别、定位，再根据药品的位置生成抓取轨迹，随后实现机械动作。流程中每个环节都会产生耗时。事实上，大众对这个技术并没有那么认识。大厂不愿意做的交付工作是初创公司的机会澎湃科技：眸深智能现时期的闷葫芦的是什么？陈涛：我们关键做的事情很便捷，做机器人的“动作大脑”，我们团队在动作领域已经有六年积往往。目前的机器人大脑看得明白，但不代表能干得好，我们关键处理从“看得懂”过渡到“干得好”这个环节。目前机器人会跳舞、会表演，但题还依赖于预编程（提前编排操控），或者遥控操作。关键让机器人根据自己所处的环境，根据人的指令，通过自己的思考，真正产生出属于自己的动作来。在ChatGPT出来之后，我们实验室发布了Motion-GPT。我们想把GPT的范式用在机器人动作上。去年我们提出了世界动作模型的概念，我们希望在不一样场景、任务和本体下，建立相对统一的动作理解和生成能力。陈涛和探究团队发布的MotionGPT比如文 来源：陈涛探究比如文澎湃科技：你们的题壁垒是什么？陈涛：对我们来说，题壁垒有两部分，一部分是动作的自净化能力，我们应该是全球首先个在动作领域提出用空间扩散模型去编辑动作的团队，另一部分是端侧落地部署能力。目前很多大模型部署在云端，机器人本体只作为实施器，但机器人可能工作在户外、野外、网络受限甚至没有网络的环境。陈涛和探究团队发布的MotionGPT比如文我们首先期在做模型的轻量化，以及模型与端侧国产芯片和国外芯片的适用配，希望在减小参数和功耗的同时，维持模型的实施成效。澎湃科技：投资人问你们最多的状况是什么？陈涛：他们关心怎么能存活下来。我认为目前机器人本体厂商远没到洗牌的时期。我们调研场景发现，各行各业的都在想机器人怎么能够走进产线，什么形态最适用用干活，大部分场景方都想关键自己造机器人。澎湃科技：你觉得这是你们的机会？陈涛：很多客户来找我们合作的一部分因素是头部机器人公司不愿意做。头部公司会连带本体一起销售，出价高。他们并不是看不到场景，而是关键考虑时间成本和投入产出等，其中最大的顾虑还是时间成本。这给我们这类的初创公司留有一定空间。小团队没有包袱。我们的技术往往代并不逊于头部企业，我们有赛方式里最好的人才。澎湃科技：你们目前题落地哪些场景？陈涛：我们总结为两大类。一类是“大商业”，涵盖户外物业、环卫和表演等，安全和精度需相对低一些，也更那么点儿落地。另一类是“大制造”，关键结合工厂里题的工序和工位，用机器人替代其中一个或多个环节。不管是家庭、工业还是制造业，机器人最后都必须有场景方式划，才能产生真正的价值。同时，场景不只是商业交付的终点，也是研发的起点。模型到了现场，才会暴露实验室中模拟不出来的状况。具身智能两年内很难迎来GPT时刻，底层架构急需突破澎湃科技：你认为具身智能什么时候会迎来类似语言模型的“GPT时刻”？两年内有可能吗？陈涛：我觉得两年内比较难，因为具身模型的往往代高效度没有那么快。近半年行业一直在卷数据、卷强化学习和在分层VLA等部分做改进，但还没有充分触及具身大脑更底层的模型架构，我觉得急需一些底层架构上的突破。目前很多范式来自语言模型，例如我们说的MOE架构等是不是具身机器人最适用于的一种模型架构，我个人并不觉得，为什么语言模型架构一定适用于处理物理世界的状况？这个前提不成立。单纯提高数据和参数，可能会带来性能提高，但不可能穷尽物理世界的所有状况和突发状况。物理世界会不断出现模型没见过的新案例，具身智能需从对世界的理解、动作实施和物理交互的角度，设方式更原生的模型结构。澎湃科技：未来会不会出现一个通用的具身大模型？陈涛：可能会出现具有通用能力的模型，但它最多对一些通用操作建立认知。想关键去处理制造业或详详见细的任务时，还需和场景结合。因此我认为，未来可能会出现细分场景的垂类通用模型，结合细分再去打造通用的具身大脑。澎湃科技：有哪些概念你认为目前被行业内高估？陈涛：例如世界模型概念很火，大部分人都认为世界模型关键把整个世界给建模进去，但它对数据和成本的需特别高，不是常见玩家能玩得起的。同时也不关键期待世界模型能处理特别复杂的任务，目前连较为首先程的视往往生成都特别不易，如何处理机器人常识性的动作技能这也很有挑战。因此对于创业公司，有没有必需倾注很高的成本做这件事，也关键打一个问题。让机器人上知天文下知地理，与它进入详详见细场景干活并不一定相关。对创业公司来说，更现实的做法是围绕机器人的作业场景打造相对定制化的世界模型，把特定场景理解透，再实现落地。澎湃新闻记者 喻琰海量资讯、精准解读，尽在新浪财经APP

本文地址：https://shengyajian.com/news/913e61698470.html