作者Hao Shen¹²³Henghui Ding⁴Yulun Zhang⁵Zhong-Qiu Zhao³Xudong Jiang⁶机构¹ School of Public Security and Emergency Management, Anhui University of Science and Technology² State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining, Anhui University of Science and Technology³ School of Computer Science and Information Engineering, Hefei University of Technology⁴ Institute of Big Data, Fudan University⁵ AI Institute, Shanghai Jiao Tong University⁶ School of Electrical and Electronic Engineering, Nanyang Technological University来源期刊IEEE Transactions on Image Processing, TIP 2025发表时间2025年6月19日在线发表1. 研究目标、过去方法、本文方法、优势及创新点1.1 研究目标图像去雾的目标是给定一张有雾图像恢复出对应的清晰图像。雾会降低对比度、模糊纹理、改变颜色分布并且会影响后续目标检测、场景理解等高级视觉任务。论文希望解决两个问题第一如何在不使用高计算量 Transformer 的情况下获得强全局建模能力。传统 CNN 擅长局部细节重建但长距离依赖建模能力弱Transformer 虽然能建模全局关系但计算量和显存成本较高。第二如何更好利用频域信息。已有频域去雾方法发现雾退化主要体现在幅度谱中但很多方法没有重点关注严重雾区、边缘、复杂结构等关键信息。本文希望在空间域和频率域同时建模提升去雾效果和效率。1.2 过去方法1.2.1 基于先验的方法早期方法主要依赖大气散射模型 ASM 和人工先验例如方法思想问题DCP 暗通道先验利用自然图像局部区域中某些通道存在低值的规律估计透射率天空区域、白色物体、强光区域容易失效CAP 颜色衰减先验根据颜色和深度之间的关系估计雾浓度对复杂真实场景泛化有限NLP 非局部先验利用颜色簇在空间中的分布规律去雾对噪声、非均匀雾仍不稳定这类方法优点是无需大量训练数据缺点是先验不一定总成立容易产生颜色偏移、过增强或残雾。论文也指出先验估计不准会导致透射图错误从而产生视觉不自然结果。1.2.2 CNN 端到端方法后续 CNN 方法不再显式估计大气散射模型参数代表方法包括 AOD-Net、FFA-Net、MSBDN、AECR-Net 等。这些方法的优势是训练稳定、推理速度较快、细节重建能力强。但核心问题是CNN 卷积核局部性强难以捕获长距离依赖。对于大面积雾、非均匀雾、远近景混合区域单纯局部卷积不够。1.2.3 Transformer 方法Transformer 类去雾方法例如 DeHamer、DehazeFormer、Restormer、MBTFormer利用自注意力或改进注意力机制增强全局建模能力。它们的问题是类型问题空间自注意力复杂度随图像分辨率平方增长高分辨率图像很慢通道自注意力计算较省但空间长距离关系建模不够直接Transformer 去雾网络参数、FLOPs、推理时间通常较高论文的目标不是继续堆 Transformer而是构建一个纯 CNN 形式但具备类似全局建模能力的高效网络。1.2.4 频域方法已有频域图像复原方法利用傅里叶变换把图像从空间域转到频率域。论文提到频域有天然的全局性质并且已有研究发现雾退化主要体现在幅度谱 amplitude spectrum纹理结构更多保存在相位谱 phase spectrum但是已有方法通常只做整体频域学习没有重点关注严重雾区、边缘和复杂结构区域。本文的 FM 模块就是为了解决这个问题。1.3 本文方法SFMN本文提出Spatial Frequency Modulation NetworkSFMN。整体是一个两阶段 U-Net基本模块是Spatial Frequency ModulatorSFM。SFM 里面又包括模块中文理解作用CSMCross-Scale Modulator跨尺度调制器在空间域聚合不同尺度上下文FMFrequency Modulator频率调制器在频域建模雾退化和复杂结构CLMCross-Level Modulator跨层调制器让 encoder/decoder 不同层级特征互相调制它的核心设计可以概括为空间域CSM CLM 解决跨尺度、跨层上下文建模 频率域FM 解决全局雾退化建模和关键区域增强 整体结构两阶段 U-Net 分别处理幅度谱和相位谱论文明确指出SFMN 将上述模块整合进 U-Net形成两阶段空间-频率调制网络并在多个去雾 benchmark 上取得优于现有 SOTA 的效果。1.4 创新点总结这篇论文的创新点主要有四个创新点 1提出空间频率调制视角不是只在空间域做卷积或注意力也不是只在频域做傅里叶处理而是将空间上下文建模 频率全局建模 结合起来。创新点 2CSM 跨尺度空间调制CSM 用多分支结构逐步聚合不同尺度的上下文信息。雾在图像中往往不是均匀分布的有些地方轻雾有些地方浓雾所以跨尺度建模比单尺度调制更适合去雾。创新点 3FM 双分支频域调制FM 不是简单做 FFT而是设计了两个频域分支分支 1学习通道相关的全局频域特征 分支 2学习通道无关的关键区域频域特征 然后用分支 2 去调制分支 1这样可以让网络更关注严重雾区、边缘和复杂结构区域。创新点 4CLM 跨层调制普通 U-Net 只是把 encoder 和 decoder 的特征 concat 起来但本文认为简单拼接不能充分利用不同层级的互补信息。因此设计 CLM让高分辨率细节特征和低分辨率语义上下文特征互相调制。2. 文中算法主要思想与专业名词解释2.1 整体网络结构SFMN 是一个两阶段网络每个阶段都是 U-Net 结构。论文图 3 展示了整体流程。第一阶段输入原始有雾图像经过 3×3 卷积提取浅层特征然后进入四层 encoder-decoder每一层都使用 SFM 模块。第一阶段最后通过 SAM 生成中间去雾结果 O1O_1O1​。第二阶段并不是简单再次输入原图而是把输入图像的相位谱和第一阶段输出图像的幅度谱结合起来作为输入再生成最终结果 O2O_2O2​。空间频率调制网络SFMN的整体架构采用两阶段U-Net设计构建整个网络其中所提出的空间频率调制器SFM作为各层的基本构建单元。第二阶段的编码器融合了第一阶段网络中编码器蓝色虚线与解码器紫色虚线输出的对应层级 CLM 结果为什么要两阶段因为论文认为幅度谱 amplitude 更偏向雾退化、亮度、全局能量分布相位谱 phase 更偏向纹理、边缘、结构。如果把幅度和相位混在一起学优化难度更高。所以第一阶段主要学习幅度相关信息第二阶段进一步学习相位结构信息。2.2 SFMSpatial Frequency ModulatorSFM 是本文最核心的基础模块。它与 Transformer 的区别是Transformer 通常通过 attention 做 token 之间的两两关系建模而 SFM 用特征调制的方式实现上下文交互计算量更低。论文强调 SFM 不是传统 Transformer而是在空间域和频率域同时进行调制。2.3 Feature Modulation特征调制特征调制可以理解为频率调制器FM的架构数学上通常是逐元素乘法先生成一个“调制器” M 再用 M 去控制原始特征 Q。 Output Q ⊙ M其中 ⊙表示 element-wise multiplication也就是对应位置相乘。直观理解Q 是原始特征M 是注意力/门控/上下文引导Q ⊙ M 表示哪些区域重要就增强哪些区域不重要就压制。这和 attention 的目标类似都是为了让特征之间产生交互。但相比 self-attention逐元素乘法更便宜适合构建高效网络。2.4 Cross-Scale Modulator跨尺度调制器CSM 的作用是解决一个问题不同区域的雾浓度不同需要不同尺度的感受野来处理。场景需要的信息大面积天空雾大感受野、全局上下文建筑边缘、树枝小感受野、细节纹理远景浓雾中远距离上下文近景轻雾局部细节恢复CSM 的做法是对输入特征做不同倍率的平均池化得到不同尺度空间。每个尺度分支使用 HFE 提取特征。从粗尺度到细尺度逐步上采样并融合。用门控机制选择不同粒度的信息。最后用聚合后的跨尺度特征去调制 query 特征。论文中 CSM 采用多分支结构并通过平均池化、上采样、HFE 和逐元素乘法实现 coarse-to-fine 的跨尺度建模。2.5 Hierarchical Feature ExtractorHFE 是 CSM 里面的层次特征提取器。它使用多个 depth-wise convolution并逐步增大卷积核大小。论文最终采用的卷积核设置是k [3, 5, 7]这表示卷积核作用3×3捕获局部细节5×5捕获中等范围结构7×7捕获更大范围上下文这就是从局部到全局的层次建模。2.6 Depth-wise Convolution深度可分离卷积中的逐通道卷积普通卷积会同时混合空间信息和通道信息计算量较大。Depth-wise convolution 是每个通道单独卷积不直接跨通道混合因此更轻量。直观理解普通卷积所有通道一起卷计算量大Depth-wise Conv每个通道自己卷计算量小后面再用 1×1 Conv 做通道融合。本文大量使用 depth-wise convolution是其高效性的来源之一。2.7 Frequency Modulator频率调制器FM 是论文另一个核心模块。它利用傅里叶变换将特征从空间域转到频率域。2.7.1 为什么用频域空间域看到的是像素位置哪里亮、哪里暗、哪里有边缘频域看到的是图像的整体频率组成低频整体亮度、颜色、平滑区域、雾幕感高频边缘、纹理、细节论文引用已有研究认为雾退化主要反映在幅度谱中而图像结构和纹理更多由相位谱表示。2.7.2 专业名词FFT、幅度谱、相位谱对图像或特征做 FFT 后会得到复数形式F Real i Imag其中Real实部 Imag虚部由实部和虚部可以计算Amplitude 幅度谱表示频率能量强弱Phase 相位谱表示结构位置和纹理排列直观理解频域成分对图像的意义幅度谱决定整体强度、对比度、雾感、亮度分布相位谱决定结构、边缘、纹理、物体轮廓所以本文两阶段处理Stage-I重点学习 amplitude去除全局雾退化Stage-II重点学习 phase恢复纹理和结构。2.7.3 FM 的双分支结构FM 包含两个分支分支 1通道相关频域分支这个分支对完整特征图做 FFT在频域中用 1×1 卷积处理幅度或相位然后 IFFT 回到空间域。作用是学习每个通道自己的全局频率特征。分支 2关键区域频域分支这个分支先用 GAP 和 GMP 压缩通道得到单通道内容图。操作含义GAPGlobal Average Pooling全局平均池化捕获整体响应GMPGlobal Max Pooling全局最大池化突出强响应区域然后这个单通道内容图也进入频域学习。它的作用是找出严重雾区、边缘、复杂结构区域。最后分支 2 的结果会通过广播机制去调制分支 1Final FM output Branch1 feature ⊙ Branch2 feature这相当于让网络在全局频域建模时额外关注关键区域。2.8 Cross-Level Modulator跨层调制器普通 U-Net 的 skip connection 通常是encoder feature concat decoder feature但论文认为这样太粗糙因为不同层级的信息有明显差异层级特征特点高分辨率浅层细节多、边缘多、纹理多但上下文弱低分辨率深层上下文强、语义强但细节少CLM 的目标是让不同层级之间互相补充浅层补细节深层补上下文跨层之间通过门控和逐元素乘法互相调制。论文图 5 中CLM 通过上采样、下采样、特征拼接、1×1 卷积、通道 split、门控聚合、逐元素乘法完成跨层交互。2.9 损失函数SFMN 是两阶段网络所以损失也分两部分Ltotal Lstage1 Lstage2Stage-I空间 L1 损失 幅度谱 L1 损失Stage-II空间 L1 损失 相位谱 L1 损失论文中频域损失权重 α 和 β 都设为 0.05。这样做的好处是网络不仅在 RGB 空间接近 GT也要在频域上接近 GT从而更好去除雾幕并恢复结构。3. 实验结果3.1 数据集论文实验数据集比较丰富不只是 ITS 和 OTS。3.1.1 合成去雾数据集训练集测试集说明RESIDE-ITSSOTS-Indoor室内合成去雾RESIDE-OTSSOTS-Outdoor室外合成去雾论文按照近期方法使用 ITS 和 OTS 作为自然白天图像去雾训练数据并在 SOTS-Indoor 和 SOTS-Outdoor 上测试。这也解释了你前面问的代码问题论文实验数据集很多但公开训练代码主要只有 ITS/OTS 两个训练入口其他数据集更多用于评测或需要自行补训练配置。3.1.2 真实成对去雾数据集数据集特点O-HAZE真实室外雾图像有 GTDense-Haze浓雾、非均匀雾更难NH-HAZE非均匀雾真实采集这些数据集用于验证模型在真实雾场景中的鲁棒性。3.1.3 无 GT 真实雾图像论文还使用 29 张真实有雾图像做无参考质量评估。因为没有清晰 GT所以不能用 PSNR/SSIM只能用 NIQE 和 FADE。3.1.4 扩展任务图像去雪为了验证方法泛化性论文还在去雪数据集上实验数据集任务CSD去雪SRRS去雪Snow100K去雪这说明作者想证明 SFMN 的空间-频率调制不只对去雾有效也对其他低级视觉复原任务有效。3.2 评价指标论文使用的评价指标包括指标越大/越小越好含义PSNR越大越好像素级重建误差常用于有 GT 图像复原SSIM越大越好结构相似性衡量结构恢复NIQE越小越好无参考图像质量评价FADE越小越好无参考去雾质量评价衡量雾残留程度Params越小越轻量参数量FLOPs越小越高效计算量Time越小越快推理时间其中 FLOPs 是在 3×256×256 图像 patch 上计算的推理时间是在 1600×1200 的 Dense-Haze 图像上评估的。3.3 定量实验结果3.3.1 合成与真实成对去雾结果论文表 I 中SFMN 在多个数据集上取得了很强的结果图像去灰度化现有方法的定量比较​​​​​​可以看出SFMN 的参数量不大FLOPs 明显低于多数 Transformer 方法同时性能更高。论文也特别指出SFMN 在 SOTS-Indoor 和 SOTS-Outdoor 上分别达到 41.44 dB 和 37.72 dB相比 MBTFormer-B 分别提升 0.73 dB 和 0.30 dB。3.3.2 无参考指标结果表 II 使用 NIQE 和 FADE 评估近三年方法。SFMN 的结果是NQE与FADE除锈方法的比较这两个指标都是越低越好SFMN 在两个数据集上都是最低说明它不仅 PSNR/SSIM 高感知质量和去雾程度也较好。3.3.3 无 GT 真实雾图像结果表 III 中在 29 张真实无 GT 雾图像上对真实雨天图像的定量结果进行比这里有一个重要现象传统先验方法 DCP/DDAP 在真实无 GT 图像上仍然很强因为它们不依赖合成数据训练受 domain gap 影响较小。但 SFMN-Mix 使用 OTS、Dense-Haze、NH-HAZE 混合训练后明显接近先验方法并优于大多数纯数据驱动方法。3.3.4 去雪泛化实验表 IV 显示SFMN 在去雪任务上也表现很强这说明空间-频率调制的设计不只是针对雾也能迁移到其他天气退化任务。3.4 定性实验结果3.4.1 SOTS 可视化在SOTS[21]数据集上进行的视觉比图 6 展示了 SOTS 数据集上的视觉对比。论文指出其他方法虽然可以去掉大部分雾但容易出现颜色失真纹理丢失细节模糊局部残雾。SFMN 的结果更接近 GT能够去除均匀雾同时保留更清晰的纹理和细节。3.4.2 Dense-Haze 和 NH-HAZE 可视化密集雾[61]与NH-HAZE[62]数据集的视觉对比图 7 展示了 Dense-Haze 和 NH-HAZE 的结果。这两个数据集由专业雾机生成雾更浓、更不均匀因此比 RESIDE 更难。论文观察到多数方法在这些数据集上难以恢复接近 GT 的结果并会产生颜色偏移。相比之下SFMN 的残雾更少伪影更轻整体视觉效果更好。3.4.3 真实无 GT 图像可视化针对实际场景中的雾化图像无法获取无雾图像时展示多种方法的视觉效果。请放大以获得更清晰的视图图 8 展示了真实雾图像没有 GT。先验方法 DCP/DDAP 在某些场景下看起来更自然但天空区域可能产生伪影。SFMN 输出相对平衡SFMN-Mix 由于混合真实风格数据训练视觉结果更自然。3.5 消融实验3.5.1 CSM 分支数消融论文发现数据类型最佳分支数ITS / OTS 低分辨率数据2 个分支最好Dense-Haze / NH-HAZE 高分辨率数据3 个分支最好原因是高分辨率图像需要更大尺度上下文但低分辨率图像如果下采样过多会丢失空间细节。因此最终为了效率统一采用 2 个分支。3.5.2 CSM 卷积核大小消融表 V 显示CSM 中颗粒尺寸的消融研究虽然 k[5,7,9] 的 PSNR 略高但计算成本更大所以最终选择 k[3,5,7]更符合效率和性能平衡。3.5.3 FM 消融表 VI 显示FM的消融研究这说明两个分支都需要关键区域分支调制全局频域分支是有效的逐元素乘法比简单相加更好。3.5.4 组件消融表 VII 中用于更好评估所提组件包括CSM和FM的拆解消融研究可以看出CSM 提升最大FM 可以进一步增强CLM 带来最终最佳结果。这说明空间跨尺度、频域调制、跨层交互三者是互补的。3.5.5 SFM 组合方式消融表 IX 比较了 SFM 中 CSM 和 FM 的排列方式SFM设计的消融研究最终采用:先 CSM后 FM原因是频域信息虽然能提供全局先验但需要强空间特征作为基础。先做空间跨尺度建模再做频率调制效果最好。3.5.6 两阶段设计消融图 14 对比单阶段和两阶段网络。论文认为两阶段设计可以产生更小误差图说明结构和细节恢复更准确同时两阶段训练收敛略快。两阶段设计的消融研究4. 结论这篇论文的核心贡献是提出了一个高效去雾网络 SFMN。它的关键不是单纯堆深网络而是围绕“调制”设计了三个核心机制CSM跨尺度空间调制解决不同雾浓度和不同感受野需求FM频域调制利用幅度谱和相位谱分别建模雾退化和结构纹理CLM跨层调制让浅层细节和深层上下文互相补充。整体上SFMN 具有几个明显优势方面优势性能SOTS-Indoor、SOTS-Outdoor、O-HAZE、Dense-Haze 等多个数据集达到 SOTA 或接近 SOTA效率FLOPs 只有 18.39G低于多数 Transformer 方法结构合理性消融实验充分证明 CSM、FM、CLM 都有效泛化性在去雪任务上也有较好结果视觉质量定性结果中残雾更少、纹理更清晰、颜色更自然