一种用于超景深融合的快速多曝光融合

A Fast Multi-Exposure Fusion Algorithm for Ultra Depth of Field Fusion

摘要: 超景深融合在刀具，电路板，器件外壳和部分小型零件等测量领域的应用越来越广泛，但上述测量目标大多是由多种材料组成，对光线有着不同程度和类型的反射，使得成像点的强度超过了相机的感光范围，导致过曝和过暗的低质量成像点出现。为了解决现有的高动态成像融合算法(HDR)在超景深融合中融合速度缓慢的问题，采用了聚焦评价和灰度评价的方式，获取高细节信息和剔除低细节信息。在限制图像动态范围不失真的同时，且利用聚焦算子的评价速度要高于HDR的优势，达到了高速融合多曝光图片的目的。实验结果表明，在融合速度上，本文算法远快于现有的HDR算法，达到了0.1463 s，且融合质量与主流HDR算法的图像质量相当。

Abstract: Ultra-depth of field fusion is increasingly widely used in measurement fields such as cutting tools, circuit boards, device shells and some small parts. However, most of the above measurement targets are composed of various materials, which have different degrees and types of light reflection, making the intensity of the imaging points exceed the photographic range of the camera, resulting in the appearance of low quality imaging points with over exposure and too dark. In order to solve the problem of the slow fusion speed of the existing high dynamic imaging fusion algorithm (HDR) in the ultra-depth of field fusion, the focus evaluation and gray evaluation methods are used to obtain the high detail information and eliminate the low detail information. In addition to limiting the dynamic range of the image without losing the truth, and using the focusing operator’s advantage of higher evaluation speed than HDR, the purpose of high-speed fusion of multi-exposure images is achieved. Experimental results show that the fusion speed of the proposed algorithm is much faster than that of the existing HDR algorithm, reaching 0.1463 s, and the fusion quality is comparable to that of the mainstream HDR algorithm.

1. 引言

对物体进行三维测量的方式有很多种，比如结构光检测 [1] ，双目立体视觉 [2] ，超景深(多焦面) [3] ，其中超景深以检测速度快，融合精度高为特点。在超景深融合中，对图像的纹理细节要求是非常高的，一般通过多角度光照可以获得不错的纹理效果，但针对不同反射率的材料，依旧会存在着细节处的光强超出相机感光范围的情况。高动态范围图像融合有着灵活的动态曝光范围，可以解决这个问题，并且对获取单张良好的曝光图具有一定的效率。

快速高动态融合算法中具有代表性的有由Mertens [4] 等人提出的基于拉普拉斯金字塔的特征提取的HDR [5] 融合算法，该算法不需要输入图像的曝光值可以直接得出丰富的细节图像，但由于拉普拉斯金字塔的创建和分解，其速度对超景深融合而言依旧是不够快速；有关于音调映射的方法在融合速度上也有不错的效果，如Debevec [6] ，和Robertson [7] 提出的方法，但在细节信息保留上的效果不尽人意；Mahmoud Afif [8] 提出了一种基于深度学习和拉普拉斯金字塔的单张图的高细节图预测方法，有着对弱曝光或过曝图的良好的视觉还原效果，但细节的补全是依赖于训练数据集中的样本，可能会有着不真实的细节信息出现，不适用于超景深合成；蒋 [9] 提出了一种基于视觉注意力神经网络的多曝光图像融合方法，但更关注于融合图像的去鬼影效果没有关注实时性。为了在超景深合成中保留更多细节的同时加快图像处理的效率，本文通过使用聚焦融合算子作为评价函数获得合适的融合权重，在超景深显微镜系统中，实现在高速融合图像的情况下，保持不错的图像融合结果，并实现更好地保留图像细节的目的。

本文将设计一种算子用于超景深的源图像高动态融合，实验其效果并与其他基于图像融合的高动态融合算法进行效果比较，使用二阶梯度法 [10] 作为图像质量的评价方式，并将融合图像用于超景深合成 [11] 并与非融合图像的超景深进行对比。本文算法的优势在于，融合速度快，在超景深算法中高动态融合效果好，可以提升超景深融合精度。

2. 超景深显微测量系统

2.1. 超景深介绍

超景深是对一系列部分聚焦，大部分离焦的一系列有着单方向空间排序的小景深图片的融合算法，最终目的是为了获取一张全部像素都是清晰的图像且获取该像素的高度，可以还原出物体的空间形状。对于高倍率小视场显微成像系统来说，一般都是小景深，因此超景深技术在显微成像领域是有着广泛应用和需求的。超景深融合中一个重要步骤是对纹理细节的评价，即聚焦评价。聚焦评价算子 [12] 有着很多类型，包括方差评价算子，Brenner算子，Roberts算子和信息熵算子等。

2.2. 超景深原理

想要从部分聚焦的图片中筛选出清晰的像素，那就需要对每个像素的聚焦程度有着一个确切的评价指标，在1.1节中我们已经提到了常用聚焦评价算子的类别，根据参考文献 [13] 所比较的算法性能，本文的关于超景深融合的实验算法使用的是Breneer算子。其表示如下：

$F={\displaystyle {\sum }_x{\displaystyle {\sum }_y{\left[f\left(x+2,y\right)-f\left(x,y\right)\right]}^2}}$ (1)

x，y为像素坐标， $f\left(x,y\right)$ 为对应坐标的像素值。设原图像大小为X，Y，在经过一次x方向Brenner算子和一次y方向Brenner算子后，可以得到一个图像大小为X-2，Y-2的评价值矩阵，将 $F_k^{}$ 记为第k张图对应的评价值矩阵，将总数为n的图像序列的评价值记为：

$E=\left(F_0,F_1,\cdots ,F_k，\cdots ,F_{n-1}\right)$ (2)

对 $F_k^{}$ 进行一次卷积核大小合适的平滑后，如果输入图像是按照离焦到聚焦再到离焦的顺序进行采集的，且纹理细节足够丰富，从E上沿着k方向取值会获得一个单峰性不错的形状上和高斯分布类似的评价函数值分布。再根据评价函数的结果，选择合适的选择最终像素的方式，直接选择最清晰处的像素合成结果图，或者加权融合出结果图再或者其他方法都有着不错的效果。

基于上述分析，图1是通过MATLAB绘制的理想聚焦评价曲线。从图中可以看出，一个理想的聚焦评价算子所形成的聚焦评价曲线具有以下特征 [14] ：单峰性、高灵敏度、良好的稳定性和较少的计算量。

Figure 1. Shape of ideal focus evaluation curve

图1. 理想聚焦评价曲线的形状

3. HDR融合算法设计

3.1. 算法设计

常用的基于空域的聚焦算子有方差算子，Brenner算子，Sobel算子，信息熵算子等 [15] 。Merterns在论文 [4] 中指出直接使用聚焦算子进行图像HDR融合会导致伪影，于是使用拉普拉斯金字塔加上由空域聚焦算子和基于HSV (Hue色调，Saturation饱和度，Value亮度)的融合指标，一般融合的伪影过于明显是由于原始图像纹理细节的不充分和边缘细节的突变导致的，但由于超景深融合本身对聚焦评价算子的依赖性边缘细节的突变本身就无法避免，且想要进行效果良好的超景深融合其原图必须有着良好的纹理分布，对于纹理分布较为丰富的图像进行HDR融合是有着不错效果的。本文选用方差算子作为图像细节权重的算子，并加以灰度权重作为改良作为本文的融合权重。

首先将方差算子简化为由图像卷积操作为基本单元的计算形式，方便程序处理，公式为：

$\begin{array}{c}V=\frac{\text{1}}{HW}{\displaystyle \underset{x=1}{\overset{H}{\sum }}{\displaystyle \underset{y=1}{\overset{W}{\sum }}{\left[i\left(x,y\right)-\mu \right]}^2}}\\ =-{\mu }^{\text{2}}+\frac{\text{1}}{HW}{\displaystyle \underset{x=1}{\overset{H}{\sum }}{\displaystyle \underset{y=1}{\overset{W}{\sum }}i{\left(x,y\right)}^2}}\end{array}$ (3)

其中V为在像素位置周围所选窗口内的区域方差， $\frac{\text{1}}{HW}{\displaystyle \underset{x=1}{\overset{H}{\sum }}{\displaystyle \underset{y=1}{\overset{W}{\sum }}i{\left(x,y\right)}^2}}$ 为原始图像所选窗口的像素强度的平方的均值， ${\mu }^2$ 为均值的平方，即只需对原图的均值滤波进行简单的图像处理即可获得需要的方差数据。 $H,W$ 分别为所选区域的高和宽； $\mu$ 为所选区域的均值；x，y分别为该目标点在图像上的横坐标，纵坐标。

设输入图像为I，大小为m，n的全一矩阵表示为 $O_{\left(m,n\right)}$ ，则将公式(1)扩展到全图像可以表示为：

$V=-{\left[\frac{I*O\left(H,W\right)}{HW}\right]}^2+\frac{I^2*O\left(H,W\right)}{HW}$ (4)

其中*表示图像卷积，对不同图片求取聚焦评价指标，再按照聚焦顺序对图片进行分组。

$U=-{\left(\frac{I}{128}-1\right)}^2+1$ (5)

再将评价指标按照分组进行归一化，得到最终指标，表示为 $\omega$ 。

${\omega }_i=\frac{V_i}{{\displaystyle \underset{k=1}{\overset{M}{\sum }}{V}_k}}+\frac{U_i}{{\displaystyle \underset{k=1}{\overset{M}{\sum }}{U}_k}},1\le i\le M$ (6)

其中，i为当前图像序号，M为图像最大数量。由于聚焦算子的结果和所求点周边的一定区域有着关联，其评价值反应的是区域内细节的多寡，基本都会存在着伪影影响多曝光融合效果，考虑到本文的聚焦融合是为了超景深算法服务的，在细节不充足的地方本身就是超景深无法处理的区域，如果所有原图中均没有在此区域细节比较丰富的图像，一般是光照角度的问题，而多曝光处理的是光照角度合适但是各处的细节强度却在相机响应范围之外的情况。

3.2. 算法效果

为了验证本文算法与目前已有的几种算法的多重曝光图像融合效果，采用了三张不同曝光时间的超景深原始序列图像进行实验，其拍摄目标为电路板上的一个焊点，从左至右的曝光时长分别为6 ms，17 ms，58 ms，如图2所示。

Figure 2. Solder spot diagram of circuit board. Exposure time from left to right is respectively 6 ms, 17 ms, 58 ms

图2. 电路板焊点图，从左至右曝光时长分别为6 ms，17 ms，58 ms

针对不同曝光时长的同一图像，图3给出了四种算法的多重曝光图像融合效果，融合效果评价将在下文给出。

Figure 3. (a) Results of the proposed algorithm; (b) Results of Merten algorithm; (c) Results of Debevec algorithm; (d) Results of Roberts algorithm

图3. (a) 本文算法所得结果；(b) Merten算法的结果；(c) Debevec算法的结果；(d) Roberts算法的结果

表1统计了四种方法100次计算的平均融合时间，其中融合的图像大小为2048 × 2048像素，从表中可以看出，本文方法的融合时间仅为0.1463 s，快于其他的算法。

Table 1. Average fusion speed for each method

表1. 各方法平均融合速度

论文 [9] 中提出了一种基于梯度和明亮度的图像清晰度评价方法，为了更贴合本文高动态的图像效果，将其第一项关于强度的评价因子修改为像素强度越接近像素上下限的中值则评价值越大。具体公式表示为：

$\begin{array}{c}{\beta }_{\text{1}}=-{\left(\frac{I}{128}-1\right)}^2+1\\ {\beta }_{\text{2}}=\frac{\text{1}}{\text{18}}\left[\left|\begin{array}{l}I\left(x-1,y\right)+I\left(x-1,y-1\right)+I\left(x-1,y+1\right)\\ -I\left(x+1,y\right)-I\left(x+1,y-1\right)-I\left(x+1,y+1\right)\end{array}\right|+\left|\begin{array}{l}I\left(x,y-1\right)+I\left(x-1,y-1\right)+I\left(x+1,y-1\right)\\ -I\left(x,y+1\right)-I\left(x-1,y+1\right)-I\left(x+1,y+1\right)\end{array}\right|\right]\\ {\beta }_3=\frac{\text{1}}{\text{18}}\left[\left|\begin{array}{l}\text{4}I\left(x,y\right)-I\left(x-1,y\right)-I\left(x+1,y\right)\\ -I\left(x,y+1\right)-I\left(x,y-1\right)\end{array}\right|+\left|\begin{array}{l}4I\left(x,y\right)-I\left(x-1,y-1\right)-I\left(x+1,y-1\right)\\ -I\left(x-1,y+1\right)-I\left(x+1,y+1\right)\end{array}\right|\right]\\ \beta ={\beta }_1+{\beta }_2+{\beta }_3\end{array}$ (7)

公式(7)中，其中I为像素强度，表示评价值，评价值越高，图像质量越好。

在图4中可以看到，Debevec和Roberts的算法结果没有达到很好地融合效果，且其合成需要知晓图组中曝光时间的分布，Merten算法在图像质量上取得了不错的效果，可是融合的时间成本过高，本文算法在对纹理充足的原图像有着接近Merten的图像质量，同时速度和细节保留上都有着不错的优势。

Figure 4. Evaluation value of each fusion method

图4. 各融合方法评价值

4. 实验设计

4.1. 实验系统

为了验证本文所提出的基于聚焦评价的快速多曝光融合算法，分析其测量精度的提升，搭建了一套结构简单，操作方便实验系统。

本文的实验设备包括一个环形光源(沃德普，HDR3 90-70W)，一个变倍镜头(木藤光MAZ 12.0XC-LZ，变倍范围为0.6至7.2倍)，一个相机感光模块(大恒水星MER2-503-36U3C-L，像素分辨率为2048 × 2048)，一个电动滑台(瑞利T1000-30A，行程为50 mm)。本系统视场范围为1.67 mm × 1.67 mm~20 mm × 20 mm。

4.2. 实验流程

本实验的目的主要是测试本文算法在实际应用中的融合速度表现，和融合后的图片实际应用于超景深算法对结果的改良程度。

首先使用步进电机将白光显微镜的镜头向上移动，直到焦面处于待测物体的顶端上方，按照不同的曝光量采集所需图像，再按照固定间隔向下扫描，重复以上步骤，扫描完待测物体上所有需要检测的点为止，扫描流程结束。

本文中所拍摄的对象为电路板上的一个焊点，一共采集了三个曝光值的多焦面图像。

融合流程如图5所示，利用该系统对多焦面的物体进行取图，获得多曝光图像序列。所选用的图像在同一光源的照射下在单一图像中显示出了极小的动态范围，但是三张图总体上是可以覆盖到大部分纹理细节的，通过高动态图像融合将纹理细节融合到一张图上，获得高动态图像，然后进行超景深图像融合获得大景深的清晰图像。

Figure 5. Schematic diagram of experimental flow

图5. 实验流程示意图

待测物体的超景深合成结果如图6所示，从(a)中可以看出在单曝光小动态范围的情况下，不仅会造成结果图的过亮或过暗，还会导致结果像素取值位置的错误；(b)多曝光高动态图像，在(a)中表现良好的像素基本都出现在了(b)中，有着丰富的图像细节和良好的清晰度。在图(6)中，使用了公式(4)所提及的图像质量评价，反映了高动态图像总体上的图像质量于低动态的单曝光图。

Figure 6. (a) Ultra-depth of field image with non-high dynamic original image fusion; (b) Ultra-depth of field image with high dynamic algorithm in this paper

图6. (a) 非高动态原图融合的超景深图片；(b) 本文高动态算法超景深图片

根据图7(左)，关于过暗区域的图像质量评价，所取图像过暗区域的矩形坐标为：矩形左上角的行坐标269，纵坐标1488，矩形右下角的行坐标401，列坐标1685。可以看到，对于原本在过暗区域图像质量有着很大损失的6 ms曝光和17 ms曝光相比，高动态图像有着十分明显的图像质量提升；同样的，根据图7(右)关于过亮区域的图像质量评价，所取图像过曝区域的矩形坐标为：矩形左上角的行坐标926，列坐标300，矩形右下角的行坐标1039，纵坐标638。可以看到对于原本在过暗区域图像质量有着很大损失的17 ms曝光和58 ms曝光相比，高动态图像有着十分明显的图像质量提升。

Figure 7. Image quality evaluation of overdark area (left) and image quality evaluation of overexposed area (right)

图7. 过暗区域的图像质量评价(左)，过曝区域的图像质量评价(右)

Figure 8. Evaluation curve of ultra-depth of field fusion in the ultra-dark area

图8. 过暗区域的超景深融合评价曲线

使用公式(1) Brenner算子对原始图像序列进行聚焦评价，抽样图2中的6 ms，17 ms两图的过暗区域中的四个像素，取其聚焦评价值序列中对应的值作为对比指标和HDR融合图像的聚焦评价序列作比较，结果如图8，比较图1的理想评价曲线，评价曲线应该具有良好的单峰性，可以看到6 ms曝光图片过暗区域的评价曲线单峰性不佳，有着很多的噪声峰值，而17 ms的单峰性较佳，HDR图像的单峰性在三者中最好，使图像中的过暗部分得到了良好的修复。

抽样图2中的17 ms，58 ms两图的过曝区域中的四个像素，取其聚焦评价值序列中对应的值作为对比指标和HDR融合图像的聚焦评价序列作比较，结果如图9所示，可以看到58 ms曝光图片过曝区域的评价曲线单峰性不佳，无法形成有效峰值，而17 ms的单峰性较佳，HDR图像的单峰性在三者中最好，使图像中的过曝部分得到了良好的修复。

Figure 9. Evaluation curve of ultra-depth of field fusion in overexposed areas

图9. 过曝区域的超景深融合评价曲线

5. 结论

本系统原理简单、操作方便，比起单一曝光的图像，本文算法在高速融合的基础上，有着不错的图像质量，融合后的图像序列所得到的超景深融合很明显有着更好的高清图融合效果，保留了更多的纹理细节和图像信息。此外，在超景深融合上也有着更好的评价曲线，虽然高动态融合并不能替代多角度光源对于纹理细节的凸显作用，却也使得在对光源反射率差距极大的材料的测量中，可以有着更好的效果。综上，本文提高了超景深图像合成的质量，为超景深图像融合提供了新思路。