这项由复旦大学与阿里巴巴集团万象团队结伙开展的谋划，以预印本状貌于2026年5月14日发布在arXiv平台，论文编号为arXiv:2605.15055。感风趣风趣的读者可通过该编号在arXiv上检索齐备论文。

当你大开一款AI绘画软件，顺手输入一段笔墨描画，几秒钟后屏幕上便出现了一张雅致的图片。这背后，是一个叫作念"扩散模子"的AI系统在肃静运作。昔时几年，谋划者们一经可以通过"强化学习"的方式，把这类模子磨练得越来越专注于某一项工夫——比如让画面更雅瞻念、让笔墨渲染更准确、或者让物体的空间联系更妥贴描画。

关联词，一个践诺的郁闷恒久存在：现实中的用户并不单想要一项工夫，他们但愿合并个模子既能画得雅瞻念，又能准确呈现笔墨，还能正确雄厚"把苹果放在篮子左边"这样的空间指示。这就像一个厨师，不行只会作念一说念菜，得是个全才。但问题在于，现存的磨练方法在濒临多项任务时通常衣衫破烂：要么几个任务彼此过问、越练越乱，要么得一个任务一个任务地轮番教，费时繁重，何况教完新任务又容易把旧任务忘掉。

这篇论文提议的方法叫作念**DiffusionOPD**，其中OPD代表"在线计谋蒸馏"（On-Policy Distillation）。谋划团队用一个相称聪惠的念念路贬责了上述贫窭，并在多个巨擘评测上获取了当今最佳的获利。

---

一、为什么"万能选手"这样难培养

回到厨师的譬如。假定你要培养一个能同期烹调川菜、粤菜和法餐的厨师，经常有两条路可走。第一条路是让他同期学三种菜系，每天混着练。听起来高效，但问题相继而至——川菜追求麻辣，法餐负责细密清淡，这两种口味的磨练标的本人就彼此破损。更竭力的是，粤菜相对容易上手，学徒很可能把大部分元气心灵都花在粤菜上，斥逐法餐练得稀烂。这等于谋划者所说的"跨任务过问"和"任务难度失衡"。

第二条路是轮番教：先练一个月川菜，再练一个月粤菜，再练一个月法餐。这幸免了同期学习的破损，但带来了另一个有名的竭力——学完法餐之后，厨师通常把川菜忘了泰半。谋划者把这个表象称为"晦气性渐忘"，在AI磨练中雷同大宗存在。何况这种方式需要经心遐想每个阶段的磨练决策，相称繁琐。

DiffusionOPD的中枢念念路是：把这两个措施透澈拆伙，先让每个任务落寞培养出一位"专业巨匠"，再由一个"万能学徒"同期向系数巨匠学习。专业巨匠只需专注我方的畛域，互不过问；而万能学徒的学习过程也不是从零初始摸索，而是平直从巨匠们的劝诫中给与精华。这样一来，既幸免了多任务同期磨练的紊乱，也不需要惦念渐忘的问题。

---

二、从言语模子借来的"在场学习"法

这个念念路并非诬捏而来。在大言语模子（等于近似ChatGPT那类能聊天的AI）畛域，有一种叫作念"在线计谋蒸馏"的磨练方法，一经被评释相称灵验。它的中枢精神是：学生不应该在教训演示的场景下锻练，而应该在我方践诺生成的内容上，向教训学习每一步奈何作念得更好。

打个比方，普通的学习方式像是摹仿字帖——教训写一个字，你照着描。而在线计谋蒸馏更像是这样：你我方先写一个字，写完之后教训指着你写的每一笔说"这里应该这样运笔，那处力说念要轻一些"。这种方式的克己是，教训的指示恒久针对你我方践诺会犯的失实，而不是对着一个联想范本给出与你无关的建议。

谋划团队的第一个职责，等于把这套正本为笔墨AI遐想的方法，移植到图像生成的扩散模子上。这个移植过程并不简便，因为两者的职责机制有骨子不同。笔墨AI每次生成一个词，是从有限的词汇内外选一个；而扩散模子的每一步，是在谋划的像素空间里作念眇小治疗，每一步都是无限多种可能。

---

三、把图像生成雄厚成一条"去噪之旅"

要雄厚DiffusionOPD的数学道理，先得了解扩散模子的职责方式。一张图片的生成过程，可以遐想成从一团飞速噪点启程，一步步把杂质去掉，最终雕刻出明晰图像的过程——就像雕饰家濒临一块原石，一刀一刀凿去饱和的部分，最终裸深入作品的情势。

这个"去噪"过程可以分红若干措施，每一步，模子都要预计"下一步应该往哪个标的治疗"。在数学上，这被抒发为一个从刻下景色启程、跳到下一个景色的概率散播——谋划团队将其称为"马尔可夫链上的高斯升沉核"。

要害在于：在职意一步，学生模子和教训模子天然会预计不同的"治疗标的"，但它们治疗时引入的飞速性大小是皆备疏通的。这就巧合两位雕饰家在合并步都使用疏通力度的凿子，但凿的位置稍有不同。由于飞速性部分皆备一样，两者之间的各异就只取决于各自预计的"治疗标的均值"之间的距离。

这个发现相称迫切，因为它意味着计算学生和教训在某一步有多不一样，可以精准地用一个简陋的数学公式抒发出来——两者预计的"均值"之间的距离往常，除以措施的飞速幅度往常。这个量叫作念"KL散度"的闭合状貌，不需要作念任何近似或飞速采样，可以平直精准筹谋。

系数这个词磨练办法因此变得相称明晰：沿着学生模子我方走出的去噪轨迹，在每一步都让学生的预计标的尽量汇集对应教训的预计标的，把系数措施的差距加起来，让这个总差距尽量小。

---

四、为什么无谓更流行的"PPO强化学习"

熟谙AI磨练的读者可能会问：强化学习里有一种相称流行的算法叫PPO（近端计谋优化），它一经被鄙俗用于扩散模子的磨练，为什么这里要换一种方式？

谋划团队对这个问题作念了郑重的数学分析。他们发现，若是把每一步的KL散度看成一个奖励信号，再用PPO来优化，名义上看起来行得通，但背后会有一个问题：PPO的梯度筹谋中，除了一个有用的"标的梯度"除外，还多出了一个极端的项，这个项的状貌是"飞速噪声乘以梯度"。

从数学上看，这个饱和的项在渴望道理下第于零——也等于说平均而言它不会指错标的。但它的存在大大加多了每次梯度推断的抖动进度，就像你在阴雨顶用手电筒找路，手电筒本人的安适性变差了，天然平均映照标的没错，但每一步都在傍边徘徊，走起来天然更慢、更容易走偏。

比较之下，平直优化阿谁可以精准筹谋的KL散度公式，梯度就皆备来自笃定性的预计均值，莫得任何极端噪声。两种方法在渴望上等价，但一个稳，一个抖，磨练就果天然不同。

除此除外，PPO的框架依赖于"飞速计谋"的看法——模子必须能对每个动作输出一个概率密度，然后筹谋迫切性比例。但关于扩散模子的笃定性ODE采样器（一种不引入极端飞速性的采样方式）来说，根蒂不存在这样的概率密度，PPO就没法用了。而平直优化KL散度公式的方式，对SDE（飞速微分方程，有飞速性）和ODE（常微分方程，无飞速性）两种采样器都皆备适用，K8凯发(中国)是一个更通用的框架。

---

五、具体奈何磨练：两阶段活水线

系数这个词DiffusionOPD的磨练经由分为两个阶段，可以用"培养巨匠，再培养全才"来轮廓。

第一阶段是落寞培养每位专业教训。谋划团队为三类任务各磨练了一个专诚的模子。第一类是"构图雄厚"任务，使用GenEval评测体系，计算模子能否正确雄厚"苹果在篮子左边""斑马在消防栓右边"这类空间联系，这个教训用DiffusionNFT算法磨练，因为它在这个任务上不绝更快、上限更高。第二类是"笔墨渲染"任务，计算模子能否在图片中准确生成指定的笔墨，这个教训用GRPO-Guard算法磨练，因为DiffusionNFT在这个任务上容易"走捷径"——通过污蔑图片来刷高分数，而不是的确学会写字。第三类是"好意思不雅度"任务，综合PickScore、ClipScore和HPSv2.1三个评分维度，雷同用GRPO-Guard磨练。三位教训各自落寞磨练，互不过问，每东说念主只需专注我方的专长。

第二阶段是万能学徒的在线学习。学生模子从原始的预磨练扩散模子启程，按照轮询方式逐个向每位教训学习。每轮学习的具体经由如下：关于某个任务，先从对应的指示词数据集里取一批笔墨描画，然后用刻下的学生模子（不更新参数，只生成轨迹）作念一次齐备的去噪生成，得到这条"在线轨迹"。接着，让对应的教训模子在雷同的轨迹景色点上作念预计，筹谋每一步的均值差距，把系数措施的差距加总。轮番对三个任务都完成这个筹谋，把三个任务的亏欠加在沿路，融合作念一次反向传播更新学生参数。这种在整轮轮回斥逐后才作念一次参数更新的方式，确保每次更新都充分反馈了三个任务的综合需求，幸免模子偏向某一个任务。

---

六、实验斥逐：到底好若干

谋划团队在一套隐私两类章程奖励和六类模子奖励的综合评测体系上进行了对比实验，基础模子是Stable Diffusion 3.5 Medium，分辨率为512×512。

章程类奖励包括GenEval（构图雄厚，满分1.0）和OCR（笔墨渲染，亦然满分1.0）。模子类奖励包括PickScore（东说念主类偏好评分）、ClipScore（图文匹配度）、HPSv2.1（另一种东说念主类偏好评分）、Aesthetics（好意思不雅度，满分10分）、ImageReward（图像综合奖励）和UnifiedReward（多模态融合奖励）。

对比基准隐私了多个档次。起首是三位单任务教训我方的推崇，可以看到每位教训确乎只在我方的专长畛域隆起：构图教训GenEval达到0.96但好意思不雅度只消5.24，笔墨教训OCR达到0.93但GenEval只消0.65，好意思不雅教训PickScore达到24.02但GenEval只消0.49。其次是两种结伙磨练的多任务强化学习方法：Multi-Task GRPO-Guard和Multi-Task NFT，两者分散需要约130小时GPU时分，综合平平分分散为0.763和0.715。再次是级联磨练方法Cascade NFT，轮番在三个任务上执法微调，耗时约148小时，综合平平分达到0.851，一经极端可以，但依然存在晦气性渐忘的问题，且磨练经由最为繁琐。

DiffusionOPD的斥逐则是：综合平平分达到0.929，卓越系数基准。具体来看，GenEval为0.96（与单任务教训执平），OCR为0.94，PickScore为23.99，HPSv2.1为0.342，Aesthetics为6.15，ImageReward为1.50，UnifiedReward为3.50。更迫切的是，DiffusionOPD所用的总磨练时分为教训最长磨练时分（好意思不雅教训85.75小时）加上蒸馏磨练时分（11.26小时），总共约97小时，远少于级联NFT的148小时，也少于结伙磨练方法的130小时傍边。

从不绝弧线上看，多任务结伙磨练方法的PickScore增长弧线彰着比单任务教训的磨练弧线更浮松，阐述多任务过问确乎严重拖慢了学习速率。DiffusionOPD的弧线则从一初始就呈现出较快的爬升趋势，最终安适在0.914隔邻，比级联NFT的0.903还卓越一截。

---

七、消融实验：哪些遐想遴荐确凿灵验

谋划团队还通过一系列"甘休变量"实验考据了要害遐想遴荐的成果。

第一组对比是不同的蒸馏方法。谋划团队在疏通的老师模子和疏通的在线轨迹采样方式下，分散尝试了DMD（散播匹配蒸馏）、TDM（轨迹散播匹配）、SFT（有监督微调，即让学生平直效法教训生成的图片）以及DiffusionOPD本人。其中SFT是离线的——用教训事前生成的图片来监督学生，而不是在学生我方的轨迹上作念监督。实验斥逐高慢，DiffusionOPD在GenEval、OCR和PickScore三个规划上均获取了最快的不绝速率和最高的性能上限，尤其在早期磨练阶段就彰着当先其他方法。

第二组对比是亏欠函数的状貌。在皆备疏通的采样噪声水平（a=0.7）下，平直优化闭合状貌KL散度与使用PPO作风计谋梯度的成果进行对比。斥逐如表面分析所预期：在疏通噪声水平下，闭合KL办法比PPO方法不绝更快、最终分数更高，考据了减少梯度方差确乎带来了践诺收益。

第三组对比是采样器的噪声水平。谋划团队分散测试了噪声水平a等于0.7、0.5、0.3以及皆备无噪声的ODE采样器（极端于a=0）。实验斥逐相称明晰：噪声水平越低，不绝速率越快，最终性能越高。使用ODE采样器（无噪声）的版块，比噪声水平为0.7的SDE版块快出约五倍，这与表面分析高度一致——噪声越小，每步的KL推断越精准，梯度信号越干净。这亦然为什么DiffusionOPD默许使用笃定性ODE采样器来进行蒸馏磨练。

---

归根结底，DiffusionOPD作念的事情可以用一句话轮廓：先让每个妙手各自雕镂，再让一个学徒同期随着系数妙手沿路练，何况学徒的锻练场景皆备来自我方践诺操作，而非照着妙手的范本形色。这种念念路在实行中带来了双重收益——磨练更快，成果更好，何况从表面上也有严格的数学撑执阐述为什么这样作念灵验。

关于普通用户而言，这项谋划意味着畴昔的AI绘画器用有望在单一模子内同期杀青更准确的笔墨渲染、更合理的空间构图和更高的视觉好意思不雅度，而不需要为每个需求单独切换不同的模子版块。天然，当今这套方法的考据主要麇集在512×512分辨率的SD3.5-Medium模子上，能否平滑膨胀到更大范围的模子和更高分辨率，是一个值得进一步探索的盛开问题。另外，老师模子的质料上限平直决定了学生能达到的高度，怎样培养出更强的单任务老师，雷同是这一框架畴昔发展的迫切标的。感风趣风趣的读者可以通过arXiv:2605.15055进一步查阅齐备的论文原文。

---

Q&A

Q1：DiffusionOPD和普通多任务强化学习有什么骨子区别？

A：普通多任务强化学习让一个模子同期学多个任务，不同任务的磨练信号会彼此过问，还容易偏向简便任务。DiffusionOPD先为每个任务单独磨练一个巨匠模子，再让一个融合的学生模子沿着我方的生成轨迹，徐徐向各巨匠模子迫临。这样巨匠磨练时互不过问，学生学习时也不需要从零摸索，斥逐是磨练更快、成果更好。

Q2：扩散模子磨练中"在线计谋"和"离线计谋"有什么区别？

A：离线计谋是让教训先生成一批图片，再让学生照着效法，就像摹仿字帖。在线计谋是让学生我方先走一遍生成过程，然后教训针对学生践诺走的每一步给出改革建议。DiffusionOPD用的是在线计谋，教训的指示恒久瞄准学生我方践诺犯错的场所，因此比离线方式更有针对性，不绝也更快。

Q3：DiffusionOPD为什么默许用ODE采样器而不是SDE采样器？

A：SDE采样器每步都会注入极端的飞速噪声，导致对磨练梯度的推断产生极端抖动，就像在轰动的路上开车，标的不稳。ODE采样器不引入极端噪声，每步的梯度信号更干净。实验标明，ODE采样器比高噪声SDE采样器的磨练遵守卓越约五倍K8凯发，因此被配置为默许选项。