U2Fusion: A Unified Unsupervised Image Fusion Network
Source
Notes
- 图像融合的目标是通过整合来自使用不同传感器或光学设置捕获的多个源图像，使用它们的补充信息来生成图像（优越的场景表现和更好的视觉感知，便于下游视觉任务的完成）。
- 当前图像融合两种主流思路：
- 基于传统的融合框架：融合规则选择有限、手工设计复杂性
- 基于端到端的模型：不存在针对多个任务的通用标签或无参考指标
论文解读
- 核心思想
训练阶段使用DenseNet提取源图像特征（包括了浅层特征和深层特征），然后对这些特征图求信息度量（特征梯度），由信息度量求处信息保留度（一个概率权重），将信息保留度与源信息（源图像）结合求损失函数。 损失函数=相似性损失（结构相似性+强度分布）+持续学习损失
- 模型特点
- 不受人工设计限制的端到端模型
- 可以解决多种融合任务的统一模型
- 无监督模型，不需要 ground truth
- 使用持续学习解决新任务的同时不会忘记旧任务（使用统一参数解决不同任务）
目标（原因）：源图像包含了丰富的信息，融合结果应与源图像高度相似。
核心问题：作为无监督模型，需要探索一个统一的度量方式来确定源图像的信息保存度。
难点：不同类型的源图像数据差异较大。
解决方法：综合考虑源图像的多方面性质，提取浅层特征（纹理、局部结构）和深度特征（内容、空间结构）来估计信息度量。
具体方案
- 特征提取
U2Fusion 使用 VGG16 网络提取浅层特征和深层特征结合，形成了人类视觉感知系统难以感知的综合表征。
- 信息度量
使用梯度度量特征图中的信息。 原因：在 DeepLearning 中，梯度计算和存储都更高效，更适合用于 CNN 的信息度量。
- 信息保留度
引入超参数 C 为了保留源图像信息，求两个自适应权重作为信息保存度。信息保存度定义了融合图像和源图像相似度的权重。权重越高，期望的相似度越高，对应源图像的信息保存度越高。
- 损失函数
引入超参数 λ loss = 相似性损失 + λ * 持续学习损失
相似性损失：结构相似性和强度分布
- 基于弹性权重合并（Elastic Weight Consolidation， EWC）的多融合任务单模型
两种实现方法：联合训练和顺序训练
【联合训练】在整个训练过程中保存所有训练数据。在每个batch中，不同任务的数据随机被选取用于训练。
问题： 【存储问题】总是保留之前任务的训练数据导致的 【计算问题】使用所有数据训练导致的
【顺序训练】对于不同的任务使用相应的数据。
问题： 【灾难性遗忘】网络参数会被优化以解决新任务，而忘记之前的旧任务。
弹性权重联合（elastic weight consolidation， EWC） 当前任务θ的权值和之前任务θ*的权值的平方距离根据其相应的重要性加权。重要的参数给予更高的权重用来阻止从旧任务学习到的内容被遗忘，不重要的参数可以在更大程度上被修改用来学习新任务。通过这个方法，模型可以根据EWC持续学习。
- 处理输入
RGB输入处理和多输入处理
实验结果
通过定性定量分析，与其他最先进的算法分别在多任务和多数据集上做了对比试验。
多模态任务中使用的数据集： https://github.com/hanna-xu/RoadScene 共有221组配准的图像对 https://www.med.harvard.edu/AANLIB/home.html 医学影像数据集