基于光照分量的多尺度水下图像增强

Multi-Scale Underwater Image Enhancement Based on Illumination Component

摘要: 针对传统方法中水下图像透射率估计不够精确的问题，本文提出了一种基于光照分量的多尺度优化估计方法。该方法基于Retinex理论与水下光学成像模型，认为图像的光照分量等价于透射率分量；并结合图像由细节部分与平滑部分构成原理，提出了比例融合方法，使透射率图像更加接近于实际；最后采用高斯金字塔，对透射率图像进行多尺度优化。实验结果表明，该方法能够较好的解决水下图像模糊、对比度低等问题。

Abstract: Aiming at the problem that the transmittance estimation in traditional underwater image en-hancement method is not accurate enough, this paper proposes a multi-scale optimization method based on illumination component. The method is based on Retinex theory and underwater optical imaging model, which thinks that the illumination component of the image is equivalent to the transmittance component; and combines the principle of detail and smoothness of the image to form a proportional fusion method, which makes the transmittance image closer to the actuality. Finally, the Gaussian pyramid is used to optimize the multi-scale of the transmittance image. The experimental results show that the method can solve the problems of blur underwater image and low contrast.

1. 引言

随着人们对海洋探索的愈加重视，海洋地质勘查、深海生物考察等领域都取得了长足的发展，而水下成像的研究在其中起着极其重要的作用。光在水下环境中传播时，由于介质颗粒所造成的散射及水体的吸收，致使水下成像产生颜色失真、清晰度下降与信息丢失等问题。通过图像处理技术能够较好的改善图像质量，因此，研究水下图像增强具有十分重要的意义。

目前，针对水下图像增强与复原方法主要分为两类：一是基于非物理模型的方法，该方法不依赖于数学模型，直接对像素进行操作以改善图像视觉效果。该类方法由于没有考虑水下图像退化的影响因素，仅仅只考虑对图像像素的调整与噪声去除，这样会使效果图像产生亮度不均匀现象。二是基于物理模型的方法，通过先验知识、假设条件或者水下光学属性近似估计出一些参数，进而求解模型得到清晰化的效果图像。2013年，Jr等人 [1] [2] 根据大气雾环境的成像特性，基于何的先验暗通道去雾算法 [3] 提出了一种专门针对水下图像的暗通道先验方法(UDCP)。由于红色光在水中衰减速率较快，该方法因而忽略其影响，仅通过蓝绿通道估计水下透射率图像，进而解决光的后向散射所造成的模糊问题。以上两种方法虽然在一定程度上改善了退化图像的质量，但都没有考虑到三通道透射率之间的差异性。Bianco [4] 等人基于光在水下环境中衰减速率不同，提出了一种基于颜色通道差的水下图像增强方法，通过计算水下图像中红色通道与蓝绿色通道最大值之间的差异来估计景深，进而求解水下光学成像模型获得清晰图像。该方法有效的解决了图像对比度低的问题。2016年，李 [5] 等人提出了蓝绿通道增强与红色通道补偿的方法，该方法先通过对彩色图像中蓝绿通道进行暗通道先验操作(DCP)，之后与原始红色分量合并进行灰度世界算法，对红色分量进行矫正处理，最后通过光照补偿避免效果图像过度曝光。以上方法都没有考虑到红、蓝、绿三种颜色光在水下传输波长即衰减速率不同，即三通道图像对应景深图像不同，从而致使效果图像质量不佳。2016年，Li等人 [6] 提出了一种水下图像增强和颜色校正方法。该方法首先应用去雾算法消除图像模糊；再依次采用颜色补偿、直方图均衡等算法改善退化图像质量；最后使用双边滤波对图像进行去噪。实验结果表明该方法虽然可以有效性的改善水下图像对比度低的问题，但直接对水下退化图像进行去雾清晰化操作，忽略了各通道透射率估计不准确的问题。2017年，刘辉 [7] 等人基于最优化方法，通过制定一个成本函数并将其最小化，以便找到一个使效果图像具有最大对比度的透射率图像。虽然该方法有效的校正了图像颜色并提高图像对比度，但并没有考虑到三通道透射率之间的区别，从而使效果图像与真实场景图像存在一定偏差。

在本文中，我们基于水下光学成像模型与Retinex思想 [8] 介绍了一种新的透射率估计方法，相比较于上文所述方法，该方法能够更加准确地估计各通道对应的透射率图像。下文中首先解释了光照分量近似等价于图像模糊部分，并可以作为透射率图像的原因；其次采用比例融合，高斯金字塔多尺度操作，以获得更加精确的景深图像；然后根据景深图像获取原始图像各通道对应的环境光照强度；最后求解水下光学成像模型，得到质量较高的效果图像。

本文的其余部分安排如下：第一节简要介绍了光学成像模型与水下暗通道先验算法；第二节对我们提出的方法进行描述；第三节展示了实验结果及效果图像质量评价；最后一节总结并得出结论。

2. 水下图像增强算法

2.1. 水下光学成像模型

水下图像的成像主要分为两部分：直接投射到物体表面的入射光(前向散射)；由于水下介质颗粒而产生的散射光(后向散射)。物理模型可简化为：

$I\left(x\right)=J\left(x\right)t\left(x\right)+A\left(1-t\left(x\right)\right)$ (1)

式(1)中x代表图像中像素的位置，I是观测到的图像，J是较为清晰的效果图像，A为环境光照强度，t是透射率图像。该模型的目的是通过原始图像I，近似估计出A、t，进而依据公式(2)求解出较高质量的效果图像J。

$J\left(x\right)=\left(I\left(x\right)-A\right)/\left(t\left(x\right)\right)+A$ (2)

透射率是基于透明物体的朗伯—比尔定律所提出的，它光在介质中传输呈指数衰减：

$t\left(x\right)=e^{-\beta d\left(x\right)}$ (3)

其中，d(x)是物体到相机的距离(景深图像)，β是由于光在介质中散射、被吸收等因素引起的综合衰减系数。在大气环境中，光的衰减主要是由于散射造成的，即彩色图像中各颜色分量可共用一个透射率图像；而在水下环境中，水体对光的吸收是图像质量退化的主要原，所以对于水下图像而言，各颜色通道对应的透射率图像是不同的，需要单独求取。

2.2. 水下暗通道先验

何 [3] 通过大量实验得出结论，在大气环境中，无雾清晰图像的局部区域至少存在一个颜色分量趋近于零的像素值，称之为暗通道先验(DCP)。而光在水下环境中传播与在大气环境中略有不同，在水下光学成像模型中，吸收在图像降解中起着重要作用，其波长越长，传播距离越短，而红绿蓝三种颜色光中，红光的波长最长，因此水下图像大部分都呈现出绿色或者蓝色。这种现象主要与水体对红光的高吸收效应有关，在很多情况下它会使其接近于零，即大气先验暗通道原理仅适用于水下绿色和蓝色通道。

水下暗通道先验方法 [2] 主要包括两个部分：

1) 求取水下暗通道图像：在蓝绿两个颜色通道中获取最小通道图像，并对最小通道进行最小值滤波操作；

$I^{UDCP}=\underset{\Omega }{\min }\left(\underset{c\in \left\{g,b\right\}}{\min }{I}^c\right)$ (4)

2) 光照强度：通过J^UDCP中最亮的像素来估计各通道的光照强度值A；

$A_c=I\left(\arg \underset{x}{\max }\left(I^{UDCP}\right)\right)$ (5)

3) 透射率图像求取：根据DCP原理可知水下透射率图像；

$t\left(x\right)=1-\underset{\Omega }{\min }\left(\underset{c\in \left\{g,b\right\}}{\min }\frac{I_c}{A_c}\right)$ (6)

为了消除效果图像中的块状效应，对上式得到的透射率图像采用引导滤波的方法进行优化。

由于该方法没有考虑红色分量，会导致透射率估计过大，通过实验可知效果图像会产生失真。

3. 水下图像清晰化

本文所提出的算法主要包括四个部分：1) 透射率图像估计；2) 多尺度透射率图像优化；3) 基于透射率估计环境光照强度；4) 根据水下成像模型求解出清晰的水下图像。

3.1. 透射率图像估计

关于图像分解有两种理论存在：1) 基于Retinex理论，图像可以定义为反射图像与光照图像的乘积；2) 基于图像构成原理，图像等于图像细节部分与模糊部分相加。由于光照分量对应图像中的低频部分，可近似等价于图像中的模糊部分，本文所提出的透射率图像估计方法就是基于以上两种理论。

Retinex算法是以颜色恒常性为基础的图像增强方法，其基础理论是物体颜色不受非均匀性光照的影响，具有一致性。一幅给定的图像S(x, y)可以分解为两幅不同的图像：反射图像R(x, y)和亮度图像(照度图像) L(x, y)，亮度图像L直接决定了图像中像素所能达到的动态范围，反射图像R即图像的内在属性，即增强后的较清晰化图像。Retinex方法的核心就是从图像S中估测L分量，并去除L分量，得到退化图像S清晰化处理后的分量R。

$S=R*L$ (7)

我们可以认为一幅质量较好的清晰图像经过水下综合衰减因素使图像退化，即退化图像与原始清晰图像的比值可以近似等价于透射率图像，结合水下光学成像模型(1)，公式(7)可以改写为：

$I=J*L=J*t$ (8)

光照分量为图像中的低频部分，其求取方法有：1) 高斯低通滤波；2) 形态学闭运算操作：形态学闭合操作(imclose函数)通过融合窄缝和填充轮廓上的间隙而不会过度平滑来产生光晕效果来平滑图像，选择圆盘(“disk”)作为结构元素可以获得最佳结果 [9] 。

3.2. 多尺度透射率优化

3.2.1. 比例融合

对于光照分量的估计，3.1节所介绍的两种方法只是近似的获取，不能从原始图像中获取质量较好的光照分量，即透射率图像，因此本文提出了针对透射率的比例融合方法。首先对原始图像I进行高斯低通滤波获取光照分量L，称为一级透射率图像t₁；同时原始图像I减去光照分量L得到质量相对较好的细节图像，并对其进行形态学闭运算操作，得到对应的光照分量作为二级透射率t₂。对两幅透射率图像以公式(11)进行比例融合，以获取更为准确的光照分量t。

$t_1=L=GS\left(I\right)$ (9)

$t_2=imclose\left(I-L\right)$ (10)

$t=a{t}_1+\left(1-a\right)t_2$ (11)

式中a为比例因子，决定着t₁，t₂在最终透射率图t中占的比例大小，进而决定效果图像好坏。

3.2.2. 多尺度高斯金字塔

多尺度图像操作是在不同尺度下分别对图像进行处理，这样可以更加确切的获取的图像某一特征。金字塔结构就是一种图像的多尺度表达形式，通过对图像金字塔每一层即不同模糊程度的图像进行透射率估计，最终得到更加准确的透射率图像。

3.3. 环境光照强度估计

在传统的环境光照强度估计方法中，背景光强通常被估计为图像中最亮区域的最亮像素或平均值，或者在暗通道中选择总像素点个数千分之一个最亮的像素点，记录像素点坐标，根据点的坐标分别在原图像三个通道内找到这些像素点并加和平均得到。对于水下环境，考虑到水体对不同波长的光吸收率不同，本文通过透射率图像求取环境光照强度，找到透射率图像中最小的像素，该像素表示距离相机最远的图像中的点，最后，我们使用原始图像中该位置处的强度值作为光照强度估计。

$A=avgI\left(\arg \arg \max \left(I_{dark}\right)\right)$ (12)

$A=I\left(\arg \underset{x}{\min }t\left(x\right)\right)$ (13)

3.4. 本文算法具体步骤

1) 对待处理图像进行高斯平滑操作，得到一级光照分量L₁，并作为一级透射率图像t₁；

2) 原始图像减去光照分量得到细节图像，我们可以粗略的认为细节图像是相对原始图像相对较清晰，并对细节图像进行二次光照分量求取，得到的光照分量作为二级透射率图像t₂；

3) 比例融合，对t₁、t₂进行比例融合操作，得到最终透射率图像；

4) 对原始图像进行多尺度金字塔操作，对于每一层图像重复1、2、3处理，得到最终透射率图像；

5) 对透射率t进行引导滤波 [10] 优化，并归一化、拉伸到固定区间 [11] ：

$t=r_0+\left(r_1-r_0\right)*\frac{t-t_{\min }}{t_{\max }-t_{\min }}$ (14)

6) 通过式子(13)求取各通道光照强度：

7) 通过式子(2)求解到效果图像。

4. 实验结果与评价

为了证明所提方法的有效性，在同一环境下对Bianco [4] 和李 [5] 的算法进行仿真，与本文所提方法实验结果进行比较。实验结果如图1所示。实验操作环境为Windows7旗舰版64位，处理器为英特尔第四代酷睿i7-4510U，内存为8 GB，仿真软件MatlabR2010a。式子(11)中α为比例因子，决定两个透射率所占比重大小，实验中，α = 0.2；式子(14)中，r₁ = 0.9，r₀ = 0.4。

原图文献3 文献4本文算法

Figure 1. Experimental effect image comparison

图1. 实验效果图像对比

本文采用无参考的图像质量评价指标(信息熵、平均梯度、标准差)对三种算法的处理效果进行比较。信息熵大小代表图像中所携带信息的多少，该值越大，说明图像质量越好，包含信息越多；平均梯度反映图像细节边缘的突变程度，用来描述图像的清晰度和纹理特征的变化，数值越大表明图像越清晰；标准差是图像像素值相对于均值的离散程度，标准差越大，表明图像中灰度级分布越散，即图像质量越好。表1显示了对图1所示图像在不同算法下的客观质量评价统计。可以明显的看出，本文所提算法在信息熵、平均梯度及标准差三种评价指标上均高于其它算法，能够很好的对水下退化图像进行清晰化处理，达到较好的视觉效果。

Table 1. Objective quality evaluation statistics

表1. 客观质量评价统计

5. 实验结果与评价

针对水下图像模糊、对比度低、颜色失真等问题，本文基于Retinex思想与图像合成理论提出一种新的水下图像增强方法。该方法避免了对各颜色光在水中衰减速率不同的讨论，采用多尺度操作，能够获得更加准确的透射率图像。通过实验结果对比分析，可以知道本文算法能够较好的对水下图像进行清晰化处理，且优于其它算法。