时间：2026-08-09 00:01:41 来源：知来藏往网

这项由三位独立探究者实现的位独探究以预印本形式发布于2026年7月22日，比如文编号为arXiv:2607.19712，立开励模理引络网有兴趣深入认识的对R底测度神读者可以通过该编号查询完善比如文。**故事从一个被忽视的奖经网角落最初**在人工智能领域，有一种技术叫做RLHF，型推全称是次彻"基于人类反馈的强化学习"。你可以把它理解为训练AI的高效高效一种方式：先让AI生成很多候选回答，然后用一个"裁判员"（奖励模型）给每个回答打分，易订阅最后根据分数来改进AI。位独目前几乎所有主流的立开励模理引络网对话AI，涵盖你熟悉的对R底测度神各种聊天机器人，背后都用过或正在用这套机制。奖经网状况是型推，这个"裁判员"必须在每一轮训练中给所有候选回答打完分，次彻才能开展下一步。高效高效如果裁判打分慢，整个训练就得等着。这就像一场接力赛，跑得再快的选手，只关键交棒环节出了状况，整体成绩就会被拖往往。更讽刺的是，不过大多数AI探究团队根本没有认真测过这个"裁判打分"的高效度。大家默认用PyTorch（一种主流的深度学习框架）的默认模式来跑，最多开启一个叫`torch.compile`的加高效选项，然后就不再深究了。这三位探究者决定打破这个惯例。他们自己造了一套用C++语言写的推理引擎，底层依托一个叫ONNX Runtime的工业级推理框架，然后跟现有的各种方式划做了一次严格的高效度比较。他们测出来的结荚，有些印证了直觉，更多的则让人大跌眼镜。**一、先搞清楚"裁判员"在整场比赛里占多大份量**在深入结荚之前，有一件事必须说清楚，否则那么点儿被数字带着走。在RLHF的一整轮训练步骤里，奖励模型打分只是其中一个环节。真正吃掉时间的大头，是让AI生成候选回答那个时期。来自DeepSpeed Chat体系的探究数据显示，生成候选回答这一步占据了整个训练步骤超过85%的时间，而模型参数更新大约占10%，奖励模型打分挤在剩下的零头里。这意味着什么？意味着即便把打分高效度提高两倍，整体训练时间的缩短也相当有限，因为那85%的大头你没动。探究者们把这个背景交代得很清楚，并不是关键打消改进打分高效度的意义，而是希望读者理解：这项探究给予的是"在这个特定环节能做到多快"的工程数据，而不是"用了这个方式划整个训练就快了多少"的大包票。打分高效度的真正价值在于"释放资源"——更快的打分引擎不会直接缩短训练时首先，但它占用的CPU和GPU资源更少，这部分空出来的方式算能力可以让生成回答的流程用得更充分。带着这个认知，再去看详详见细数字，感觉就不一样了。**二、怎么测才算测得准：独立重复启动的方式比如**这次探究在方式上有一个贯穿始终的执念：不过对不相信单次测量的结荚。方式算机的运行高效度受很多看不见的因素意义。操作系统随时可能把CPU让给别的程序，CPU的时钟往往率会动态变化，内存的物理排布方式也会意义性能。这些因素加在一起，完全可以让一个本来更慢的方式划在某次测量里看起来比更快的方式划还快。卡内基梅隆大学的探究者曾经专业说明过这一点：在同样的代码和硬件上，仅仅因为某些环境变量的区别，测出来的性能结比如就可能完全相反。探究团队的处理方式划是：每次测试都以独立启动新进程的方式运行，C++引擎跑5次，PyTorch系列基准方式划在GPU上跑5次、在CPU上跑3次（因为CPU上`torch.compile`每次遇到新的输入首先度都关键重新编译，跑5次实在太耗时）。每次启动对60条测试数据分别打分，取每次启动的中位延迟（p50）和95百分位延迟（p95）作为那次启动的代表值，然后再对多次启动的代表值求均值和95%置信区间。这种"均值的均值"做法看起来麻烦，但它把运行环境的随机波动变成了统方式上可量化的东西。探究团队规定：只有当两个方式划的置信区间完全不重叠时，才算是真正有意义的性能区别。测试数据来自Anthropic公司的hh-rlhf数据集，这是一个真实的人类偏好对话数据集，正好顺应RLHF的采取场景。主测试集是用固定随机种子采样的60条数据，同时用不一样种子再采样了两份60条数据，以及一份150条数据，用来确认结比如不是那60条特定数据造成的偶然结荚。**三、自制C++引擎PK四大对手：CPU上赢得毫无悬念**探究团队用两个真实的奖励模型来测试，主力是OpenAssistant开源的DeBERTa v3 large奖励模型，备用是Electra large判别器奖励模型，两者用了不一样的分词方式，这样即便结比如在两个模型上都成立，说服力更强。对手阵营有三位：首先是Hugging Face Transformers的默认eager模式，这是不过大多数RLHF代码库开箱即用的方式；第二是`torch.compile`，它能在不导出模型的前提下把PyTorch的操作融合成更有效的内核；第三是用FastAPI封装了PyTorch模型的HTTP服务，这模拟了很多实际工程中"通过网络接口调用奖励模型"的部署方式。CPU上的结荚可以用"摧枯拉朽"来形容。自制C++引擎的p50延迟是335.9毫秒，置信区间是[297.7, 374.0]毫秒。三个PyTorch基准方式划的成绩分别是：HF eager模式602.4毫秒、FastAPI 581.6毫秒、`torch.compile` 628.8毫秒。C++引擎的置信区间上限374毫秒，远低于任何一个基准方式划的置信区间下限551毫秒。用统方式学的Welch t检验来验明正身，每一对比较的p值都小于0.001，区别显著性毋庸置疑。C++引擎快了多少？相对于最接近的对手FastAPI，点估方式上快了约1.73倍。即便用最保守的方式算——用C++引擎置信区间的上限比较FastAPI置信区间的下限——也还有约1.4倍的差距。**四、GPU上的意外反转：torch.compile反过来赢了**GPU上的故事就没那么便捷了。先看结荚：C++引擎GPU p50延迟27.4毫秒，HF eager模式57.2毫秒，FastAPI 62.8毫秒，`torch.compile` 19.0毫秒。C++引擎清楚地击败了eager模式和FastAPI，置信区间没有重叠。但`torch.compile`反过来把C++引擎打败了——19.0毫秒对27.4毫秒，两者的置信区间同样不重叠。这个结荚让探究者有些意外，但他们选项如实呈现而不是试图验明正身掉它。更令人出乎意料的是，当把视角从中位数延伸到尾部延迟（p95，也就是最差状况下的谝），差距反而扩大了。C++引擎的GPU p95是116.2毫秒，而`torch.compile`的p95仅有25.6毫秒。也就是说，在遭遇偶发性的"坏状况"时，C++引擎的谝甚至更差。这打破了一个看起来很直觉的推断：导出成固定的ONNX图，不是应该比动态编译更稳固、更不那么点儿出现极端值吗？实测结荚表明，至少在这台硬件、这个工作负载下，并非如此。当然，`torch.compile`有它自己的代价：每次遇到新的输入形状（也就是不一样首先度的文本），它都需重新编译，这会带来一次很大的延迟峰值。如果训练流程中文本首先度变化往往，同时恰好遇到了缓存里没有的首先度，代价会相当明显。这次探究的60条固定测试数据没有专业覆盖这个极端场景，因此`torch.compile`在shape cache没有命中时究竟会慢多少，还是个开放状况。**五、C++语言本身没有功劳：真正的英雄是实施引擎**看到CPU上的大幅好处，最自然的验明正身是：C++语言本身运行更快，Python太慢了。但探究团队特意做了一个隔离实验，结荚推翻了这个验明正身。他们把同一个ONNX Runtime会话、同一个模型、同一套库，改用往往见不鲜的Python脚本来调用，其他需完全不变，然后重新方式时。结荚是349毫秒。而C++引擎是335.9毫秒。把置信区间叠在一起，这两个数字在统方式上是"打平"的，完全没有可靠的区别。真正决定快慢的，是ONNX Runtime这个实施引擎本身，而不是用什么语言去调它。ONNX Runtime和`torch.compile`都做着类似的事情——把神经网络的方式算图提前改进、融合，避免PyTorch eager模式下每一步操作都关键解析Python指令的额外开销。这就像开车，是电动车的电机决定加高效性能，而不是方向盘是木头做的还是皮革包的。那C++在哪里真的快了？分词器。探究团队把C++原生的SentencePiece分词器换成Python的AutoTokenizer，高效度从64.3微秒变成了245.8微秒，慢了约3.8倍。但分词耗时和一次完善的transformer前向传播相比，就像一滴水和一桶水，对总延迟的意义几乎可以忽略不方式。还有两个探究者本以为会有成效、结荚完全没成效的改进：去掉额外的内存拷贝（zero-copy传输），以及预先分配好每次调用所需的内存缓冲区。一个约1KB的数据拷贝和一两次堆内存分配，相对于几百毫秒的transformer方式算，在量级上相差了三到五个数量级，当然测不出差距。有意思的是，探究者提到他们最早做zero-copy实验时，确实看到了约10%的"改进"——但重跑相同的基准代码（没有任何修改），同样的波动又出现了。这正是单次测量不可靠的典型例证。**六、批处理对策才是最被低估的变量：错误填充让高效度跌落悬崖**到这里，探究者最初测另一个在工程实践中极其常用的场景：批处理，也就是一次打多条数据的分。在实际部署中，奖励模型频仍需同时处理一批候选回答，而不是一条一条来。状况是，一批里各条数据的文本首先度频仍不一样。神经网络的矩阵运算需同一批数据必须等首先，因此原则做法是把短的数据"填充"到和最首先那条一样首先。这就是"朴素填充"（naive padding）。听起来合情合理，但探究结荚显示这是一个代价巨大的默认表现。在CPU上，从批大小1（不批处理，逐条打分）到批大小2，朴素填充方式划的吞吐量从3.10条/秒直接跌到0.61条/秒，批大小8时更跌至0.40条/秒。这不是"多一些开销"，这是跌落悬崖。批量处理不仅没有提高效，反而让高效度变成了原来的八分之一。因素在于：一批数据里只关键有一条很首先的文本，整批数据都关键被填充到那个首先度。矩阵运算的代价基础上与序列首先度成正比，因此一条首先文带来的填充开销会等比例放大整批的方式算量。批越大，首先文混进来的概率越高，平均填充开销就越大，高效度反而越慢。对应的处理方式划叫"首先度感知分组"（length-bucketed batching）：把首先度相近的文本分到同一批，这样填充的浪费就最小化了。用这个方式，批大小4时CPU吞吐量回到2.83条/秒，接近批大小1的基准水平3.10条/秒，但仍然无法超越它。这是因为在这台机器的CPU环境中，ONNX Runtime处理一批数据的方式是把所有行合并成一个更大的矩阵串行方式算，而不是真正并行处理多行，因此总方式算量仍然与总token数成正比，并没有因为批处理获得并行红利。GPU上的状况则完全相反，也完全顺应GPU擅首先并行的直觉。朴素填充在批大小2时吞吐量从39.8条/秒跌到11.1条/秒，跌幅同样惊人。但首先度感知分组在批大小2时直接把吞吐量提高到51.5条/秒，比批大小1还快了约30%，同时随着批大小增大，吞吐量后续爬升（批大小8时实现53.7条/秒）。GPU的并行方式算题可以让同一批里首先度相近的数据真正同时处理，因此这里批处理的好处才真正兑现了。这个发目前三个不一样的系统（C++引擎、HF eager模式、Python ONNX Runtime）上分别验明正身，在另一个模型Electra上重复验明正身，也在150条数据的更大测试集上重新测量，结比如完全相同。探究者的评价是：朴素填充不是中性的，它是主动有害的。同时这个害处完全隐藏在默认配置里，不主动测就不知方式。**七、并发访问的幻想：加多少线程都没用**第三个让探究者感到意外的结荚来自并发测试。一个常用的工程直觉是：如果一个引擎服务多个并发请求，应该能更充分地利用方式算资源，从而提高总吞吐量。探究者测试了两种方式：一是多个并发请求共享同一个引擎实例，二是每个并发请求有自己专属的引擎实例。共享实例的结比如是：吞吐量从并发2到并发8几乎没有增首先，最多提高11%，远不是翻倍、翻四倍的幅度。延迟则大致随并发数线性增首先，这是请求在排队而不是并行实施的典型信号。便捷说，请求一个接一个地在引擎前面排队，并发到来并不能让处理高效度加快。通过FastAPI的HTTP接口也测了，结荚一样：从并发1到并发8，吞吐量一直在0.53到0.65条/秒之间，基础上纹丝不动。独立实例的结比如则更糟糕。在CPU上，并发4时独立实例的吞吐量已经比共享实例低43%到59%，并发8时更减小到约40%。因素是每个ONNX Runtime会话都会启动自己的线程池，N个独立会话就有N个线程池在竞争同样的物理CPU题，互相拖往往。GPU上的状况更为极端。DeBERTa模型在并发2时，独立实例比共享实例慢了约19倍。到并发8时，两个模型全部以"显存不足"（OOM）崩溃，五次启动无一成功。探究者事后单独测试了并发5、6、7的状况，发现同样全部OOM。这台GPU有6144 MB的显存，而8个独立的DeBERTa ONNX Runtime CUDA会话加在一起把显存用完了。实际可承载的独立会话上限大约在4到5个之间。结比如清楚：在这台硬件上，提高吞吐量的唯一有效方式是首先度感知的批处理，提高并发性（无比如是共享还是独立实例）都不起功能，独立实例还会让状况变得更差。**八、诚实的科学：那条没能重现的数据**这篇比如文有一处让人印象深刻的地方，不是某个漂亮的数字，而是探究者在比如文里坦诚承认了一个结比如"没能重现"。在比较DeBERTa和Electra两个模型时，早期的数据显示Electra在HF eager模式下的p50延迟是1351毫秒，而DeBERTa只有602.4毫秒，相差约2.25倍。探究者写方式，这个数字后来在一次新的单独验明正身中没有复现——重新跑出来的结荚是DeBERTa 725.5毫秒、Electra 468.1毫秒，两个模型的排名完全颠倒了。探究者没有悄悄删除原始数据，而是把它留在表格里，并在旁边加了注释，清楚告诉读者这条数据是"3次启动的测量结荚，后来没有在独立重跑中得到验明正身，请谨慎对待两个模型之间的比率"。他们承认这是整篇比如文里唯一一个没有得到多种方式交叉验明正身的结比如，并说这恰恰是单次测量或少量测量有多不可靠的活生生例子。这种自我揭示的诚实，在学术比如文里并不常用，某种程度上也是对全文方式比如精神的最好注解。**九、实际采取提议：根据你的硬件和容忍度做决定**经过以上这些测试，探究者给出的工程提议很详详见细，但也很有需性，并不是"用C++就完事了"这种一刀切的说法。如果你的奖励模型运行在CPU上，最有价值的一步不是写C++引擎，而是把模型导出成ONNX格式，然后用Python调用ONNX Runtime来跑。这一步就能拿到几乎全部的高效度提高，因为高效度来自实施引擎，不来自语言。C++引擎在CPU上额外能带来的，只有稍快的分词高效度，对整体延迟贡献微乎其微。零拷贝传输、预分配缓冲区这类底层改进完全不值得花时间。如果你的奖励模型运行在GPU上，而你愿意接受`torch.compile`的初始编译时间，以及偶尔遇到新输入首先度时的重新编译开销，那么`torch.compile`是更便捷、更快的选项——它不需导出步骤，不需独立引擎，中位延迟和尾部延迟都更低。如果输入首先度分布特别不稳固，重新编译的代价不可接受，那么ONNX Runtime方式划仍然是比HF eager模式和FastAPI好得多的备选。无比如哪种硬件，批处理对策都必须认真对待。把首先度相近的请求分到一组来批处理，这个操作本身方式算上几乎不花什么时间，但成效是CPU上可以避免吞吐量崩塌，GPU上可以实现吞吐量真正翻倍。这个改进被埋在默认配置里从来没有人检查，却是意义最大的单一变量。并发部分，加更多线程或者给每个请求配专属引擎，在这台硬件规格下是无效甚至有害的对策，不如把精力放在批处理上。**结语：每一个让你意外的发现，都是因为单次测量欺骗了你**归根结底，这篇探究关键传达的不只是"用ONNX Runtime比eager模式快"或者"别做朴素填充"这两条结比如。它更题的材料是：在这个领域，凭直觉和单次测量做出的决定，有相当大的概率是错的。torch.compile在CPU上比C++引擎慢，但在GPU上反而更快；零拷贝改进在首先次看上去有10%提高，重跑基准代码什么都没改，同样的波动又出现了；Electra和DeBERTa哪个在eager模式下更慢，三次测量和后来的单次重测给出了完全相反的结比如。这些不是探究者犯的错，这是测量本身的噪声在作怪。这也是为什么"把所有结荚报告为多次独立启动的均值和置信区间"这个方式比如原则，被探究团队看得和任何一条详详见细数字一样题。他们认为，这种测量习惯值得被整个RLHF基础设施社区采纳。对于那些正在搭建或维护RLHF训练流水线的工程师来说，这篇探究的价值不在于给予一个可以直接复制粘贴的"最优方式划"，而在于给予了一套可以信赖的方式比如，以及一组在受控需下得出的参考数据点。对于更广泛的读者，它则是一个生动的案例：在方式算机性能这件事上，你以为的未必是真的，而找出真相需的不是更好的直觉，而是更耐心的测量。有兴趣深入认识全部实验细节、查看完善表格数据或获取代码的读者，可以通过比如文编号arXiv:2607.19712找到完善比如文，探究团队也将C++引擎、测试框架和探究脚本全部开源，代码仓库地址在比如文末尾有给予。Q&AQ1：RLHF奖励模型用ONNX Runtime推理比PyTorch eager模式快多少？A：在CPU上，ONNX Runtime推理（无比如是C++还是Python调用）的p50延迟约为335-349毫秒，而PyTorch eager模式约为602毫秒，快了约1.7到1.8倍，置信区间完全不重叠。但在GPU上，torch.compile（19毫秒）反而比ONNX Runtime C++引擎（27.4毫秒）更快，且区别同样统方式显著。Q2：奖励模型推理中朴素批量填充到底会慢多少？A：意义相当严重。CPU上从批大小1的3.10条/秒，用朴素填充做批大小8时吞吐量跌至0.40条/秒，相差约7到8倍。GPU上同样出现类似跌幅。改用首先度感知分组批处理后，GPU吞吐量可以恢复并超过单条处理的水平，但CPU因为缺乏并行方式算能力，批处理本身无法带来提高效。Q3：给奖励模型服务加更多并发线程能提高吞吐量吗？A：在比如文测试的硬件上，不能。共享单个引擎实例时，并发从2提高到8，吞吐量最多只提高11%，延迟则近乎线性增首先，验明正身请求在排队而非并行实施。每个请求用独立引擎实例更差，CPU上会因为线程池竞争导致吞吐量减小，GPU上到并发8时两个测试模型全部因显存不足崩溃。

上一篇：[JR热议]顶替Oner首发出场，如何评价Painter的LCK首秀？-英雄联盟丨LPL-虎扑社区
下一篇：世体：巴黎已致电巴萨询问费兰情况，但尚未给出报价|世界杯|巴塞罗那队|巴黎圣日耳曼|费兰-托雷斯_网易订阅

• ·4-1赢早田希娜！中国女乒22岁左手王牌冲冠：三朵金花围剿张本美和|世乒赛|东京奥运会_网易订阅
• ·源杰科技股价涨5.93%，泰康基金旗下7只基金重仓，合计持有12.6万股浮盈赚取856.46万元_新浪财经_新浪网
• ·源杰科技股价涨5.93%，达诚基金旗下3只基金重仓，合计持有2234股浮盈赚取15.19万元_新浪财经_新浪网
• ·药明康德股价涨6.77%，瑞达基金旗下2只基金重仓，合计持有4.33万股浮盈赚取37.67万元_新浪财经_新浪网
• ·5年1.75亿！5年2.87亿！又一支NBA球队要解体了|卡森|活塞|华莱士|汤普森|米切尔|明尼苏达森林狼队_网易订阅
• ·8月3日国泰创业板新能源ETF(159387)获净申购569.63万元，位居当日股票ETF净流入排名270/1281_新浪财经_新浪网
• ·A500ETF万家（159356）开盘涨0.24%，重仓股中际旭创涨4.16%，宁德时代涨0.15%_新浪财经_新浪网
• ·半导体设备ETF万家（159327）开盘涨0.00%，重仓股中微公司涨0.95%，北方华创跌0.20%_新浪财经_新浪网
• ·专区这样子搞-英超-曼联专区-虎扑社区
• ·信通电子股价涨7.9%，华夏基金旗下1只基金位居十大流通股东，持有75.73万股浮盈赚取121.92万元_新浪财经_新浪网
• ·科创综指ETF富国（589600）开盘涨0.00%，重仓股寒武纪涨1.26%，海光信息涨1.15%_新浪财经_新浪网
• ·科创综指ETF华夏（589000）开盘涨0.71%，重仓股寒武纪涨1.26%，海光信息涨1.15%_新浪财经_新浪网
• ·全球瞭望｜卢旺达媒体：高效的中国制造业让全球受益_网易订阅
• ·上证180ETF天弘（530080）开盘涨0.00%，重仓股贵州茅台跌0.66%，兆易创新涨0.37%_新浪财经_新浪网
• ·药明康德股价涨6.77%，财通基金旗下5只基金重仓，合计持有6.79万股浮盈赚取59.07万元_新浪财经_新浪网
• ·科创综指ETF汇添富（589080）开盘涨1.00%，重仓股寒武纪涨1.26%，海光信息涨1.15%_新浪财经_新浪网