基于IB-UNet的零参考低照度图像增强方法

A Zero Reference Low Illumination Image Enhancement Method Based on IB-UNet

摘要: 在图像增强领域，成对数据的过分依赖可能导致模型过度拟合，影响其泛化能力。为了解决这一问题，本文提出了一种无监督学习方法，该方法受到Zero-DCE网络架构的启发，采用了基于IB-UNet的零参考图像增强方法。该方法直接学习图像的深层特征，提高了图像特征纹理的提取效率，从而在不依赖成对参考数据的情况下，有效提升低照度图像的增强质量。通过客观指标评估，结合不同模型的对比试验与消融实验，客观验证了所提出模型的优势，展示了其在图像增强任务中的潜力和实用性。

Abstract: In the field of image enhancement, an over-reliance on paired data can lead to overfitting of the model, which affects its generalization ability. To address this issue, this paper proposes an unsupervised learning method inspired by the Zero-DCE network architecture, which employs a zero-reference image enhancement method based on IB-UNet. This method directly learns the deep features of the image, improving the efficiency of extracting image feature textures, thereby effectively enhancing the quality of low-illumination images without relying on paired reference data. Through objective metrics evaluation, combined with comparative experiments of different models and ablation experiments, the advantages of the proposed model are objectively verified, demonstrating its potential and practicality in the task of image enhancement.

1. 引言

在低光照条件下拍摄的图像往往会遇到细节模糊和对比度不足等问题，这些问题严重影响了图像的质量和信息含量。Lv等人[1]提出了一个多分支增强网络(MBLLEN)，它通过将网络架构划分为三个关键组成部分，即特征提取、增强和融合模块来实现高效的图像增强，特征提取模块负责从输入的图像中提取低频和高频特征，并将它们分别送入增强模块进行处理。随后，融合模块将经过增强的多尺度特征进行有效整合。Zero-DCE [2]通过一组非参考损失函数实现零次学习，其与需要高计算资源的图像重建方法不同，图像与曲线间的映射关系仅仅需轻量级的网络实现，加速了它推演的效率。Zhang等人提出的ExCNet [3]是首个基于无监督CNN的逆光图像恢复方法，利用CNN结构学习图像与最佳“S曲线”参数之间的映射关系，用来直接调整基础图形层，作者以基于块的能量最简化问题定义损失函数，该方法在处理视频流时表现较好性能。RRDNet是三分支CNN网络，不需要先验或预学习，其权重是通过特别的损失函数反复最小化零样本方法来更新的[4]，这样的损失函数是为了评估测试图像的当前分解并导出噪声估计而设计的，能够实现全面真实且令人愉悦的视觉质量，达到鲁棒的校正效果。MZSL利用多模态数据和先验知识来增强模型对未见类别的识别力，设计了有效的多模态特征融合机制[5]、选择了合适的先验知识表示并优化以处理多模态数据的异质性模型，为以后的发展提供新思考。Ren等人提出零样本视觉语义分割，它通过利用少量或没有标记样本的情况来提高模型对未见类别的识别能力[6]，从而扩展了视觉语义分割技术的应用范围，拓宽了低照度图像增强的视野。

低照度图像增强技术作为图像处理领域的关键分支，旨在通过提升图像的亮度和降低噪声来增强对比度和丰富图像信息。由于Zero-DCE模型[1]导致网络在泛化方面的表现不尽人意，无法有效提取图像的细节和边缘信息。因此为了获取到更多的细节信息，本文提出了基于IB-UNet的零参考低照度图像增强方法，IB-UNet是在U-Net [7]网络的颈部使用Inception模块来进行多尺度语义信息的融合，提取深层细节特征，最后将获取拟合的曲线特征参数图来迭代的进行图像增强。并以客观指标来评估模型对低照度图像的增强质量、结合不同模型对比试验与消融实验客观验证本模型的优势。

2. 特征提取模块

IB-UNet模型是基于经典的U-Net架构，在网络的瓶颈位置引入了Inception模块，这一设计扩展了网络的感受野，使得模型能够捕获更广泛的上下文信息和全局特征，其架构如图1所示。

Inception模块通过并行应用不同尺寸的卷积核以及最大池化操作，从而在不显著增加参数数量的前提下，提取多尺度特征，其核心思想是在网络的同一层中并行应用不同尺寸的卷积核，从而能够同时捕捉到图像的局部细节和全局上下文信息，它允许模型在不同层次上学习到丰富的特征表示，提高了网络的性能和泛化能力。如图2。

Figure 1. IB UNet Module

图1. IB-UNet模块

Figure 2. Inception Module

图2. Inception模块

3. 循环图像增强模块

循环图像增强网络通过迭代的方式逐步调整图像的亮度，每一轮迭代都会根据前一轮的结果和特定的增强系数来优化图像，通过其自适应的迭代机制，能够在缺乏标准参考图像的条件下，有效地提高效率。

这种增强系数是一个动态映射参数，允许网络对每个像素进行精确的调整。其工作原理可表达为：

$E_n\left(x\right)=E_{n-1}\left(x\right)+{\lambda }_n\left(x\right)E_{n-1}\left(x\right)\left(1-E_{n-1}\left(x\right)\right)$ (1)

其中，${\lambda }_n\left(x\right)$ 作为映射参数矩阵，决定了如何根据前一轮的输出$E_{n-1}\left(x\right)$ 动态调整当前轮的增强效果。门控因子$1-E_{n-1}\left(x\right)$ 则保证了处理过程不过度增强，保持了图像增强的均衡性。

本文模型如图3所示，该网络使用U-Net结构作为主体来改善Zero-DCE中局部特征提取的能力不足的问题，同时IB-UNet网络在U-Net的瓶颈处使用了Inception模块来获取到多尺度的深层语义信息，扩大感受野，捕获更广泛的上下文信息，有助于模型在面对多样化的训练数据时，能够提高其泛化能力。最后估计出图像的高阶特征曲线，然后通过循环增强模块对图像进行迭代性低照度增强。

Figure 3. Zero Reference Network Architecture Based on IB-UNet

图3. 基于IB-UNet的零参考网络架构

4. 损失函数

本文方法通过空间一致性损失、曝光控制损失、颜色恒常损失和照明平滑损失，它们共同作用于训练过程中，以确保输出图像的视觉自然性。

1) 空间一致性损失${ℒ}_{spa}$ ：

${ℒ}_{spa}=\frac{1}{K}{\displaystyle {\sum }_{i=1}^K{\displaystyle {\sum }_{j\in \text{Ω}\left(i\right)}\left|\left(Y_i-Y_j\right)\right|-\left|\left(I_i-I_j\right)\right|}}$ (2)

其中，K代表局部区域数目，$\text{Ω}\left(i\right)$ 是区域各方向的邻域，I与Y分别代表处理前、后图像局部的强度平均值。

2) 曝光控制损失${ℒ}_{\exp }$ ：

${ℒ}_{\exp }=\frac{1}{M}{\displaystyle {\sum }_{k=1}^M\left|Y_k-E\right|}$ (3)

其中，M为未重叠局部数，E表示RGB图像空间恢复水平。

3) 颜色恒常损失${ℒ}_{col}$ ：

${ℒ}_{col}={\displaystyle {\sum }_{\left(p,q\right)\in ϵ}{\left(J_p-J_q\right)}^2}$ (4)

其中，$J_p$ 代表输出图像p通道的平均强度，$ϵ$ 代表通道集合。

4) 照明平滑损失${ℒ}_{tvA}$ ：

${ℒ}_{tvA}=\frac{1}{N}{{\displaystyle {\sum }_{n=1}^N{\displaystyle {\sum }_{c\in \zeta }\left(\left|{\nabla }_x{A}_c^n\right|+\left|{\nabla }_y{A}_c^n\right|\right)}}}^2,\xi =\left\{R,G,B\right\}$ (5)

其中，N代表迭代次数，$\nabla$ 代表梯度操作。

5. 实验结果对比

本文以LOL数据集[8]为训练集，其含有1000张两两成对的低光与正常光图像，为衡量本章模型的增强效率，进而验证本文方法的适行度，选取主流的2个经典方法与2个无监督学习的方法与本章方法作比较，选取的对比实验方法的详细介绍如表1所示。

Table 1. Comparative experimental methods

表1. 对比实验方法

方法	模型类型	模型简介
LIME [9]	传统算法模型	基于视觉恒常性理论的总变分模型
[10] MSR	传统算法模型	基于视觉恒常性理论的多尺度颜色恢复模型
SCI [11]	无监督模型	基于零参考的自校准照明图像恢复模型
Zero-DCE	无监督模型	基于深度拟合图像特征曲线的细节恢复模型

与传统处理方法的颜色剧烈失真现象相比，本章处理结果颜色流畅度与自然度均有极大提升，与无监督方法暗区细节呈现差，中亮区伪影较多和亮区过曝光并导致边缘流失，本方法在细节处理、边缘检测和颜色恢复方面表现良好，处理后的图像在细节呈现、调和曝光与突出边缘等方面取得高质量表现。如下图4所示。

Figure 4. Comparison experiment diagram

图4. 对比实验图

为验证本章提出的网络的性能，通过对比各种模型在相同数据集上提升效果的差异，在LOL数据集上的结果对比如表2所示。本章方法在参考指标PSNR、SSIM上都有一定的提升，对于非参考指标NIQE上实现了一个最优的效果，但在LOE上没有明显的优势，整体上性能有一定的提升。

Table 2. LLIE performance of different models on the LOL dataset

表2. 不同模型在LOL数据集上的LLIE效果

Methods	PSNR	SSIM	LOE	NIQE
LIME	16.758	0.563	817.1	9.130
MSR	13.172	0.476	2589.2	8.123
Zero-DCE	17.842	0.835	579.2	4.203
SCI	21.482	0.871	276.3	3.661
Ours	21.811	0.882	512.3	3.671

为进一步客观验证本章方法的可行性，基于LOL数据集进行可行性验证，验证过程包含4个消融模型：分别代表在本章方法上取消各改进操作后的模型，并将基准模型作为参照，验证两处改进共同作用的有效性。其中Without IB-UNet表示消除特征提取模块IB-UNet结构后的模型（本章基准模型）；Without Inception表示消除IB-UNet结构中Inception模块后的模型；Ours代表对改进后的本章方法。消融结果如表3所示。

Table 3. Comparison of ablation models in the LOL dataset

表3. 消融模型在LOL数据集效果对比

Methods	PSNR	SSIM	LOE	NIQE
Without IB-UNet	18.371	0.852	564.1	4.031
Without Inception	19.568	0.849	535.4	3.949
Without All	17.842	0.835	579.2	4.203
Ours	21.811	0.882	512.3	3.671

由于本章模型在4项指标所表述的性能数据上均有不错的改善，证实了IB-UNet结构与图像深度特征曲线的结合合理有效，进而客观验证了在它们共同作用下本章模型的性能得到提升，证实本章方法的合理性和可行性。

6. 结论

本文以Zero-DCE模型为基准，对特征提取模块中特征提取不足的问题，使用IB-UNet来进行特征的深度提取，同时通过Inception模块来进行多尺度特征的提取，以达到优化特征提取网络，获取良好的高阶特征曲线。针对日常生活中低照度图像缺乏参考图像的缺点，使用无监督方法，突破参考图像的约束，有效推进LLIE发展进程，提高社会生活质量。针对Zero-DCE中处理中的缺陷，如光照不均匀、特征提取不充分、颜色失真等问题，提出了基于IB-UNet的零参考图像增强网络法，并通过实验进行了验证，从客观评价指标和主要视觉效果上对模型进行了评估，证实了本章方法的可行性和有效性。

综上所述，本研究提出的图像增强方法在特征细节呈现和颜色优化方面取得了显著进展。通过结合先进的深度学习技术和创新的网络架构，能够有效提升低质量图像的信息提取效率，为智能科技应用的发展提供了强有力的支持。