这项由乔伊未来学院Joy Future Academy、复旦大学、清华大学和中国科学技术大学联合开展的研究以预印本形式发布于2026年7月3日论文编号为arXiv:2607.03524有兴趣深入了解的读者可通过该编号查询完整论文。当你拿起一支画笔准备画一幅画时画得好不好很大程度上取决于你在动笔之前脑海中那幅图有多清晰。如果脑海中的图像模糊你大概需要反复修改很多次才能接近理想效果但如果一开始就想得很清楚哪怕只涂几笔也能八九不离十。现在的AI绘图系统面临的恰恰是同样的困境——而这项研究提出的方案就是帮AI在动笔之前就想得更清楚。**AI绘图为什么这么慢**当今最先进的AI图像生成系统比如被广泛使用的Stable Diffusion 3工作方式有点像一个雕塑家从一块粗糙的石料开始一刀一刀地雕出精细的作品。这个雕刻过程在技术上被称为流匹配Flow MatchingAI从一张充满噪点的随机图像出发一步一步地消除噪点最终得到清晰的图像。问题在于这个过程通常需要35到50个步骤才能产出令人满意的结果——就好像那位雕塑家每次只能微调一点点必须重复数十次才能完成作品。这种多步骤的特性带来了显而易见的代价速度慢、计算资源消耗大。每生成一张图都需要大量时间和算力。在实际应用中这意味着更高的成本和更差的用户体验。研究人员早就意识到这个问题也尝试过各种加速方案。有人尝试让AI通过模仿一个更强的老师模型来学会一步到位这叫蒸馏有人尝试让AI学会在轨迹上保持一致性从而减少步骤数这叫一致性模型。然而这些方案要么需要额外准备一个复杂的老师模型要么需要对训练流程做大量改动而且往往会产生一些奇怪的伪影——生成图像里会出现奇怪的纹路、不自然的高对比度甚至令人不适的颜色失真。**一个出人意料的核心发现**这项研究的出发点是一个看似简单却相当深刻的问题AI在少步骤情况下生成图像质量差根本原因是什么研究团队发现问题出在AI被训练时所处的评判标准空间上。以一个非常直观的例子来解释这件事。假设你有一千张同一个人的照片现在把这一千张照片在颜色数值上直接取平均——每个像素点的颜色变成一千张图里该位置颜色的平均值。你会得到什么一张模糊得几乎认不出人的图像就像透过一层厚厚的毛玻璃隐约看到人脸的轮廓。这张平均图在数学上是精确的平均但它完全不像一张真实的人脸照片。这就是AI在动笔时面临的困境。当AI处于高度噪点的状态相当于雕刻的初始阶段它对于这张图最终应该长什么样有很大的不确定性——可能是猫可能是狗可能是横构图也可能是竖构图。传统的训练方式让AI最小化像素数值上的误差导致AI倾向于预测所有可能性的平均值产出一个模糊的、不属于任何具体图像的预测。当有足够多的步骤时AI还有机会在后续步骤里逐步修正但步骤太少这个初始的模糊预测就很难被有效纠正。研究团队把这种现象叫做均值寻求行为——AI总在猜一个中间值而不是猜一个具体、鲜明、真实的样子。**感知特征空间一种更聪明的评判标准**那么有没有一种评判方式能让AI从一开始就倾向于预测那些真实可信的图像而不是模糊的平均研究团队的答案是改变训练时使用的测量尺。与其用像素数值来衡量AI的预测有多准确不如用人类视觉感知的方式来衡量。人类的视觉系统对清晰的轮廓、真实的纹理、自然的光影格外敏感对那种说不清道不明的模糊感非常排斥。如果能让AI接受同样的评判它自然就会在预测时避开那些模糊但数值上说得过去的答案转而去猜那些虽然不是平均值但看起来更真实的答案。实现这一点的工具是已经在大量真实图像上预训练过的视觉模型比如VGG、DINOv2、ConvNeXt等。这些模型经过训练能够提取图像的语义特征——简单来说它们看懂了什么是清晰的脸、什么是真实的狗、什么是自然的风景。把两张图像分别输入这些模型得到各自的特征表示然后比较这两个特征的差距这个差距就叫感知距离。关键在于感知模型对于模糊的惩罚远远大于像素级别的测量。当你把那千张人脸照片在DINOv2的特征空间里取平均再还原成图像得到的结果依然保留了清晰的面部结构——因为语义特征空间更关注这是一张人脸这件事而不是每个像素的精确数值。这意味着在语义特征空间里模糊的平均本身就是个代价高昂的答案AI会尽量避开它。研究团队把这种现象背后的数学特性量化为一个叫做离流形惩罚Rφ的指标。直白来说这个数字衡量的是当你把两张真实图像做平均产出一个模糊的中间货时这个评判标准会对它惩罚多少。传统的VAE潜在空间也就是Stable Diffusion这类模型内部使用的压缩空间测出来的离流形惩罚大约是1.59而VGG、DINOv2等感知特征空间的惩罚值在1.9到2.0之间。更高的惩罚值意味着感知空间更强烈地排斥模糊的预测更倾向于引导AI走向清晰、真实的图像。这种现象有一个直观的验证。研究团队从FFHQ人脸数据集里取出1000张相似的人脸分别在三种空间里求平均直接在像素空间取平均、在VAE潜在空间取平均再解码、在DINOv2特征空间取平均再还原。前两种方式得到的都是明显模糊的人脸而第三种方式的结果却保留了清晰的面部轮廓。这直观地说明了为什么用感知特征空间来训练AI能让AI在少步骤情况下给出更清晰的预测。**感知流匹配只改一件事效果大不同**基于以上发现研究团队提出了感知流匹配Perceptual Flow Matching简称PFM框架。它的核心改动非常简洁简洁得让人有点意外。整个训练过程与传统流匹配基本相同给AI一张被加入噪点的图像和时间步信息让AI预测怎么去掉噪点技术上叫预测速度场然后根据这个预测恢复出干净图像的估计值。唯一的区别在于传统方法在潜在空间里比较预测的干净图像和真实干净图像的差距而PFM把两者都先解码到像素空间再分别通过预训练感知模型提取特征最后比较特征之间的差距。就这一步改动不需要额外的老师模型不需要额外的辨别网络不需要对训练流程做其他改动训练成本几乎不变——但效果却截然不同。推理的时候PFM用的是标准的一致性采样方式AI先从当前噪点状态预测出干净图像的估计再把这个估计重新加入噪点到下一个时间步如此循环。步骤数量可以自由调整不需要重新训练模型。**无需提词器的另一个惊喜**研究团队还有一个额外的发现值得单独介绍因为它解决了另一个实际问题。在AI图像生成中有一种常用技术叫无分类器引导Classifier-Free Guidance简称CFG。它的作用是增强生成图像与用户文字描述之间的匹配程度——让一只橘色的猫坐在窗台上这句话生成的图像更精确地符合描述。然而使用CFG的代价是每生成一步AI都需要额外运行一次无条件预测相当于每步的计算量翻倍。令研究团队惊喜的是用感知目标训练出来的PFM模型即便在推理时完全不使用CFG也能生成语义上非常准确的图像。他们认为这是因为感知监督的几何性质隐式地教会了AI什么才叫一个语义上正确的预测导致模型内化了部分引导效果不需要外部的额外提示。尽管如此研究团队也提供了两种可选的CFG烘焙策略允许在训练阶段就把引导效果融入模型从而在推理时用单次前向传播就实现引导增强的效果。一种是预测侧策略在训练中把有条件预测和无条件预测的加权混合作为训练的起点让梯度只流过有条件分支从而让模型学会内化引导效果。另一种是目标侧策略在训练中构造一个CFG增强版的目标图像让AI直接向这个强化目标靠拢同时用参数控制训练稳定性。两种策略都只需要训练时额外做一次无条件前向传播推理时就不再需要额外开销。**在三类任务上的全面验证**研究团队在图像生成、图像编辑和视频生成三个方向上分别验证了PFM的效果覆盖了当前最主流的几个生成任务。在文本生成图像方面研究团队把PFM应用到Stable Diffusion 3 MediumSD3-Medium上并在COCO 2014验证集上进行评测。这个测试集是业界广泛使用的标准测试包含FID图像真实感评分越低越好、CLIP Score图文匹配度越高越好和HPSv3人类审美偏好越高越好三项指标。在8步生成条件下PFM的FID得分为33.93CLIP Score为31.70HPSv3为11.42三项指标在同步数下均优于对比方法。与之对比的是两种蒸馏方法LCM潜在一致性模型和DMD2改进版分布匹配蒸馏。在8步条件下LCM的FID是34.18HPSv3只有9.19DMD2的FID是36.16HPSv3是10.19。PFM在FID和HPSv3上均明显领先。从生成的图像来看LCM生成的图像更模糊有明显的伪影DMD2虽然相对清晰但颜色饱和度过高、对比度不自然PFM的图像在整体真实感和美观度上更接近人类审美。在图像编辑方面研究团队把PFM应用到Qwen-Image-Edit模型上并在MagicBrush基准上进行评测。MagicBrush专门测试按文字指令修改图像的能力。结果显示将采样步数从40步减少到8步后原版Qwen-Image-Edit的性能明显下降而同样是8步应用PFM的版本不仅远超8步基线甚至在CLIP-I生成图与原图的相似度、DINO语义一致性、L1误差和L2误差四项指标上超越了原版的40步结果只有CLIP-T文图匹配度稍低0.01分。更值得一提的是PFM推理时不使用CFG而原版基线使用CFG scale4.0这意味着PFM每步的实际计算量只有基线的一半但效果还更好。在视频生成方面研究团队把PFM应用到Wan2.1-1.3B视频生成模型上并在VBench基准上进行全面评测。VBench包含物体类别准确率、多物体关系、人类动作、颜色、场景一致性、时间流畅性、运动平滑度等十余项子指标。对比的基线是Wan2.1用35步CFG scale5.0和8步CFG scale5.0采样的结果。PFM用8步、无CFG的情况下在主体一致性0.969对0.962、背景一致性0.972对0.960、时间无抖动0.996对0.979、运动平滑度0.995对0.987、美学质量0.651对0.535等多项指标上超越了35步基线。总评分方面PFM达到0.79235步基线为0.7748步基线仅为0.735。从生成的视频帧来看8步基线存在严重的画面模糊而PFM的8步结果与35步几乎难以区分。**当评判标准改变AI的直觉也随之改变**一、为什么改变监督空间能起到如此关键的作用研究团队用一个更基础的数学理论来解释PFM为什么有效。传统流匹配在VAE潜在空间里用最小化均方误差来训练而均方误差的最优解恰好是后验期望——也就是所有可能答案的加权平均。在高噪声阶段这个后验分布是多峰的可能是猫也可能是狗它的均值就落在两者之间的模糊地带不属于任何一个真实类别。感知监督改变了这个最优解的位置。在感知特征空间里最优解不再是欧式均值而是特征空间里的重心。由于感知模型对模糊、不真实的图像赋予更大的距离这个重心会自然地偏向更接近真实数据流形的方向而不是停留在模糊的中间地带。这种转变在数学上被描述为从均值寻求到模式寻求的转变——AI不再猜所有可能性的平均而是倾向于猜一个具体的、真实的可能性。二、两个实验验证了这个机制研究团队设计了两个实验来验证这个机制一个在合成数据上一个在真实图像上。在合成数据实验中他们把数据分布设计成一个二维平面上的螺旋线——数据只存在于这条细细的曲线上偏离曲线的点都是不真实的。他们分别用三种监督方式来训练生成模型标准流匹配在坐标空间里直接比较、通过一个随机初始化的自编码器特征空间比较、以及通过一个经过训练的自编码器特征空间比较。结果非常清晰前两种方式在步数少时生成的点大量落在螺旋线外聚集在分布的均值附近只有第三种方式即使只用很少几步生成的点也贴近螺旋线。这个实验还揭示了一个重要细节仅仅是非线性的特征空间并不够——随机初始化的自编码器同样提供了非线性映射但效果和直接在坐标空间里没什么区别。真正起作用的是这个特征空间有没有学到什么是真实数据也就是说离流形惩罚Rφ必须大于1才有效。在真实图像实验中他们从FFHQ数据集里对VGG、DINOv2、SigLIP、ConvNeXt、CLIP等多种感知特征空间分别测量了Rφ值。结果显示所有预训练感知模型的Rφ都在1.9到2.0之间远高于VAE潜在空间的1.59。更令人印象深刻的是这些感知模型在Rφ上的排名与它们作为监督特征在文本生成图像基准上带来的实际效果排名高度吻合——Rφ越高的模型用来训练PFM效果越好。三、不同的感知模型各有特点研究团队比较了多种感知模型的实际表现。VGG是一个经典的卷积网络历史悠久但输入图像被限制在224×224分辨率对高分辨率图像的细节捕捉有限。DINOv2是自监督训练的视觉变换器能捕捉语义层面的特征分辨率更高。SigLIP是联合语言-图像训练的模型语义对齐能力强。ConvNeXt是改进版的卷积网络在量化测试中取得了最高的Rφ值2.026在文本生成图像测试中也表现最优CLIP Score 31.53HPSv3 10.17。随机初始化的ViTRandViT则惨不忍睹生成结果与标准流匹配一样模糊进一步证实了必须是训练过的感知模型这一结论。在层级深度的实验中研究团队测试了在DINOv2的不同层提取特征来计算损失的效果。浅层特征接近像素Rφ低训练出的模型仍然模糊深层特征语义丰富但过于抽象会让模型忽略细节、失去像素级的保真度最终最优的做法是对多层特征取平均兼顾语义约束和像素细节。组合使用多种感知模型也带来了额外的提升VGG和DINOv2的组合在实验中总体表现最佳。**说到底这个发现告诉我们什么**归根结底这项研究揭示了一件原本不那么显而易见的事AI生成图像需要多少步骤不只取决于模型的大小或训练数据的多少还深刻地受到训练时使用的评判尺度的影响。传统方式用像素数值来打分这把尺子天然地宽容模糊感知空间用视觉感知来打分这把尺子天然地惩罚模糊。换一把尺子AI就学会了在脑海中想清楚再下笔而不是每次都画一个让所有人都差不多满意但其实没人真正喜欢的模糊平均。PFM的实际意义是使用者不再需要等待几十步的缓慢生成4到8步就能得到质量接近甚至在某些维度超过原版的结果时间成本和计算成本大幅下降。对于需要大量生成图像或视频内容的应用场景来说这意味着几倍到十几倍的效率提升。当然PFM也有局限。在1到2步这种极端情况下效果还不够理想图像会出现明显模糊。哪种感知空间才是真正最优的目前也还没有定论——这是研究团队明确留给未来的工作。不过一个有趣的问题留给读者思考如果连AI用什么空间来衡量自己的错误都能如此显著地影响最终结果那么我们在其他机器学习任务里是否也在无意间使用着不合适的评判尺度对这项研究感兴趣的读者可以通过arXiv编号2607.03524找到完整论文。QAQ1感知流匹配PFM和传统流匹配的训练过程有什么实质区别A传统流匹配在训练时把AI预测的图像和真实图像在VAE潜在空间里做像素数值比较。PFM唯一的区别是把两张图像先解码到像素空间再分别通过VGG、DINOv2这类预训练视觉模型提取特征然后比较特征之间的差距。这一步改动不需要额外的老师模型也不改变训练框架但让AI在训练时受到了更强烈的模糊惩罚从而学会在少步骤下给出更清晰的预测。Q2PFM为什么在图像编辑任务上的指标甚至超过了原版40步模型A在MagicBrush测试中PFM在8步、不使用CFG的情况下在图像相似度、语义一致性、像素误差等指标上超过了原版40步模型。研究团队认为这与感知监督的特性有关感知特征空间更关注语义层面的正确性训练出的模型预测更贴近真实图像的语义结构而不是陷入模糊的平均状态。编辑任务本身需要保留源图像的大量细节感知空间对细节保真度的要求恰好契合了这一需求。Q3离流形惩罚Rφ具体是怎么测量的A研究团队取两张真实图像a和b计算它们的像素平均值m这个m模拟了AI在高噪声时给出的模糊预测然后分别在某个特征空间里测量m到a的距离和b到a的距离把前者的两倍除以后者。如果这个比值接近1说明该特征空间对模糊图像没有额外惩罚比值越大说明该空间越强烈地排斥模糊。VAE潜在空间的比值约1.59各预训练感知模型的比值在1.9到2.0之间这个数值越高用该空间训练的PFM效果越好。