时间：2026-08-08 23:52:15 来源：知来藏往网 作者：百科 阅读：801次

编辑｜Panda2012 年，生成AlexNet 用一场压倒性的模型胜利结果了一个时代。在此之前，也能验推易订阅做图像识别关键靠人手工设方式一层层特点提取的端到端训步骤；AlexNet 说明了一件后来被反复验明正身的事：把整个任务端到端地交给模型自己学，几乎总是练题理样打得过人类精心设方式的分时期流水线。从图像分类到目的环实检测再到图像分割，深度学习的本网每一次跃迁背后，都是生成同一句话：让它自己一口气学完。只有一个领域始终是模型例外：生成模型。今天最强、也能验推易订阅最能扩展的端到端训生成模型（无比如是自回归还是扩散模型）都不是端到端的。它们训练时只学预测「一小步」，练题理样推理时却关键像循环网络那样把这一步反复展开几百上千次。环实训练和推理用的本网不是同一套采样方式。这个裂缝带来了一个老状况：每一步的生成误差会喂进下一步，输入逐渐漂离训练时见过的分布，误差层层往往积。学术上管它叫「暴露偏差」（exposure bias）。换句话说，「端到端更好」这条深度学习最题的经验，十几年来始终没能真正落到生成模型头上。而就在最近，一篇来自 UIUC 与哈佛大学的比如文，试图把这块最后的拼图补上。作者给这个新范式起了个名字，叫Explorative Modeling（探索式建模），模型简称XM。它的想法便捷到近乎朴素，却指向一个大胆的结比如：生成模型除了参数和数据，其实还有第三根可以放大的轴。项目网站：https://explorative-modeling.github.io比如文地址：https://arxiv.org/abs/2607.27372代码仓库：https://github.com/alexiglad/XM状况的根源：模型只会「取平均」关键理解这篇比如文在处理什么，得先理解生成到底难在哪。往往见不鲜的监督学习（例如分类）每个输入基础只有一个正确答案，模型学一个选定的映射就够了。但生成不一样。你让模型「生成一只狗」，正确答案甚至可能有无穷多个。这些合法的输出，就是数据分布里的一个个 mode（即分布中一个个独立的峰）。生成难，正是因为关键同时抓住这么多 mode。麻烦在于，主流生成模型训练时用的是重构损失（例如平方误差）。当一个输入被随机配上了许多个不一样的合法目的，重构损失能给出的最优解，是这些目的的平均值。而对不过大多数数据来说，平均值根本不在数据流形上，而落在几个 mode 中间，谁也不像。比如文里那张图很直观：让模型在没有任何技巧的状况下直接端到端地回归，三堆散点会被它预测成正中间的一个点，一张狗的照片会糊成一团，一句话会退化成把「the」重复到底。这就是「mode 模糊」（mode blurring），即最优解恰恰是最不像真实数据的那个答案。现有模型是怎么绕过去的？答案是把「生成」这件事拆碎。自回归一次只预测一个元素，扩散一次只去掉一点噪声，每一小步的目的都被切到几乎只剩单一 mode，于是重构损失就不会再去取平均。这套「拆分生成流程」正是扩散和自回归能做出优质样本的因素，但也正是它，让模型没法端到端。作者由此提出了一个题的追问：一个生成模型只有两样东西可以拆，一个是怎么生成，一个是怎么训练。既然拆生成这条路会毁掉端到端，那为什么不去拆训练呢？一个 for 循环：探索式建模的全部内核Explorative Modeling 拆的就是训练循环本身。它的机制可以用一句话说清：在每一个训练步，模型不再只生成一个样本去硬凑目的，而是生成 K 个候选，然后只挑其中离真实数据最近的那一个来训练、回传梯度。比如文里把它实现成一个 3 到 5 行的 for 循环，便捷到有点让人怀疑（Algorithm 1）。为什么这么做就能处理 mode 模糊？换个生活里的场景：猜高效镖落点。如果只让你猜一次，你的最优对策是猜所有高效镖的平均位置，可那频仍是靶盘上根本没几支高效镖扎中的地方。但如果允许你猜 K 次、且只按最接近的那一次算分，最优对策立刻变了：你会把这几次猜测散开，让每一次去覆盖一簇不一样的落点。模型也是一样。当它被允许探索 K 个候选，不一样的输入噪声就会各自「认领」一个不一样的 mode，而不是全都挤到中间去取平均。探索多少次，模型就能稳稳抓住多少个 mode。作者给这个被首先期忽视的能力起了个名字：生成表达力（generative expressivity），并指出它由训练目的本身决定，无比如你把参数和数据堆到多大，它都不会自己涨上去。这也验明正身了一个业内早就观察到的怪状况：为什么今天最好的模型都那么依赖「引导」（guidance）技术。所谓无分类器引导，本质是把预测「推离」那个模糊的平均值。但如果模型自己不糊，又何必去推它？ 引导之因此实用，恰恰是 mode 模糊留下的病根。比如文还给出了Forward和Reverse两种探索方向：前者固定一个真实目的、在自己的生成里搜最近的一个，偏向「查全」（覆盖所有 mode）；后者固定一个生成、在真实数据里搜最近的一个，偏向「查准」，且几乎不提高算力开销，代价是可能塌缩到那么点儿 mode。两者互补，可以组合采取。第三根轴：越放大，收益越大这篇比如文最有分量的结比如，是把「探索」验明正身成了一根真正的 scaling 轴。作者把探索加到扩散/流模型、Jumpy 模型乃至掩码扩散语言模型上，在图像、视往往、语言三种模态上相同地看到性能单调提高。更题的是收益随规模的走向：越放大越猛。比如文给出的数字是：随着数据规模增首先，探索带来的增益从 7% 一路爬到 36%；随着模型增大，从 13% 爬到 23%；当算力翻到三倍时，效率增益直接翻了一倍多。详详见细到效率上，探索把 FLOP 效率提高了 4.1 倍、样本效率提高了 6.2 倍、参数效率提高了 47%。在图像生成上，它把目前最强的 RAE 配方进一步推到了 ImageNet 上无引导 1.43 的 FID，逼近业界最好水平。一个探索 5 个 mode 的 Large 模型，甚至能跑赢一个多了 47% 参数却不做探索的 XLarge 模型。这个走向的含义并不小。作者的验明正身是：小规模时，模型题被参数和数据卡着，生成表达力还不是瓶颈；可一旦参数和数据放大到「不再是限制」的地步，生成表达力就会越来越成为那个真正的瓶颈。而它正是探索能直接放大的东西。考虑到当下真正的基础模型训练，用的算力比这篇比如文最大的实验还高出约四个数量级，作者认为比如文里报出的这些数字，很可能只是更大规模下收益的下限。真正端到端的生成如果把探索推到极限，会发生什么？答案回到了开头那个悬念：生成模型终于可以端到端了。作者把 XM 当作独立的端到端模型，拿去做机器人控制任务。在表现克隆（Behavior Cloning）上，他们的 Explorative Policy 只用一次网络前向就追平甚至超过了需 100 次前向的 Diffusion Policy；在目的导向的世界建模上，Explorative World Model 用比 Diffuser 少 16 到 256 倍的推理算力，做到了更好的平均谝。这个差距的来源很清楚：扩散模型是在推理时用几百步生成来换取表达力，而端到端的 XM 把这笔账挪到了训练时的探索上，推理因此只需一次前向。「处理多 mode」这同样一件事，关键么在推理时慢慢拆，关键么在训练时一次探索到位；这篇比如文选项了后者。作者验明正身这篇比如文的首先作者Alexi Gladstone并不是生面孔。就在 2025 年 7 月，他主导的Energy-Based Transformers（EBT）曾在社交平台上引发过不小的讨比如。那项工作声称首先次在多个维度上「跑赢」了原则前馈 Transformer 的扩展曲线，并试图把「System 2 思考」推广到任意 mode。参阅机器之心报方式《新范式来了！新能量模型打破 Transformer++扩展上限，训练扩展率快 35%》。Explorative Modeling 与他一贯的思路一脉相承：都在追问「模型能不能通过某种搜索、探索的方式，去做单次前向做不到的事」。而这篇比如文更是建立在他与合作者（Yilun Du 和 Heng Ji）的另一套理比如Mode Forcing之上。比如文里坦言，正因为有那套理比如在先，XM 的大部分结荚是先被理比如预测、再被实验验明正身的，这在以「跑完实验再验明正身」为常态的深度学习圈里，并不多见。作者也很坦诚地承认了局限：best-of-K 这个想法本身并不新，前人做过很多次；他们真正的贡献，是想清楚了这个便捷循环到底在做什么：它在不拆分生成流程的前提下，直接放大了生成表达力。同时，自回归语言模型目前仍是最难啃的骨头，纯端到端的 Forward XM 在极度多 mode 的分布（例如图像生成）上还太贵，这些都留给了之后工作。十几年来，我们习惯了用两个旋钮去调生成模型：把它做得更大，喂它更多数据。这篇比如文提出的第三个旋钮相当朴素：让模型多猜几次、只留最好的一次。但如果它揭示的趋势成立，那么随着规模后续膨胀，前两个旋钮迟早会拧到头，而第三个才刚刚最初转动。https://x.com/AlexiGlad/status/2083230922196107288

(责任编辑：百科)

上一篇：兄弟们 准备结婚了 可是遇到一个很难受的事-恋爱区-虎扑社区
下一篇：[流言板]WNBA球员工会：面对联盟跨性别球员争议，坚守多元包容立场-NBA新闻-虎扑社区

• 
• 
• 
• 
• 
• 
• 
•