高灵敏面阵红外相机实测图像盲元检测与补偿方法

Blind Element Detection and Compensation Method for High Sensitivity Area Array Infrared Camera Tested Images

摘要: 使用面阵红外相机，可大大提高成像视场角，使大视场高空间分辨率红外成像成为可能，但是高辐射分辨率面阵相机具有高灵敏度，在进行挂飞实验时，会实时的产生盲元，凭借硬件升级无法完全避免盲元产生的问题，因此对红外图像有效进行盲元检测和补偿成为需要研究的课题。本文提出一种改进的基于场景的盲元检测方法，通过对连续时域红外图像求均匀背景图像得到差值图像，结合三梯度检测法，利用空域灰度中值和梯度绝对值之间的关系，设置阈值对盲元进行判别，在进行盲元补偿后得到处理后的图像。实验结果证明该方法效果明显，能有效地检测到连续的盲元块，检测更加准确，在后续进行盲元补偿时，图像质量也进一步提升。

Abstract: The use of a planar array infrared camera can greatly improve the imaging field Angle and make it possible to create infrared imaging with a large field of view and high spatial resolution. However, a planar array camera with high radiation resolution has high sensitivity, and blind elements will be generated in real time during the flight test. Therefore, effective blind element detection and compensation of infrared images have become a research topic. In this paper, an improved scene-based blind element detection method is proposed. The difference image is obtained by obtaining uniform background image of continuous time-domain infrared image. Combined with the three-gradient detection method, the relationship between the spatial median gray value and the absolute value of the gradient is used to set a threshold for blind element discrimination, and the processed image is obtained after blind element compensation. The experimental results show that the method is effective and can effectively detect continuous blind blocks, and the detection is more accurate. The image quality is further improved when the blind element compensation is carried out later.

1. 引言

近年来，随着科技的不断发展，红外相机已经在航空行业得到了大规模的使用，其中，面阵红外相机是一种可以捕捉红外光谱图像的相机，有效解决了过去红外线阵成像空间分辨率低和像元驻留时间短的难题，其瞬时视场可以达到微弧度量级。使用面阵红外相机，可大大提高成像视场角，使大视场高空间分辨率红外成像成为可能。高辐射分辨率面阵相机虽然在探测器的性能上突破了许多创新性技术，光学系统也完成了进一步设计和优化，很大程度上克服了由于受芯片生产能力限制而产生的非均匀性、盲元较多等问题，但是由于面阵相机的高灵敏度，在挂飞实验时，会实时地产生盲元，因此凭借硬件升级无法完全避免盲元较多的问题，这些问题的存在不仅降低了图像的质量，而且对后续目标的识别和探测也造成了影响，因此，需要对红外图像进行盲元校正。

目前，主要的盲元检测算法包括基于定标的检测方法和基于场景的检测方法。基于定标的盲元检测分为一点定标法、基于背景和黑体检测法、基于双参考源差值检测法，定标法适用于产品出厂之前对盲元的处理 [1] ，对于在实际应用中产生的盲元，在工程上，通常采用基于场景的检测方法 [2] ，场景检测法不限制于设备，对于校正相机本身所固有的盲元和随机盲元有很好的校正效果。

基于场景的检测方法运用目标场景的红外图像数据，通过对比场景图像中正常像元和盲元的各异响应特性，来精确定位盲元点的位置 [3] 。现有算法有线性外推法、 $3\sigma$ 法、TMOE法、背景预测法和其他算法等，例如，胡鹏博等人利用“ $3\sigma$ 判断准则”建立直方图映射进行盲元检测 [4] ，李丽萍等人依据形态学开闭运算对尖峰信号的滤波性质，选取合适的检测阈值进行比较判别出盲元 [5] ，冷寒冰及其团队提出了一种利用模糊中值与时域累积的盲元自适应检测与补偿算法，该算法在检测固定盲元以及由于温度漂移引起的随机盲元方面表现优异 [6] ，李凌霄等人设计了一种基于三梯度阈值检测的快速盲元校正方法 [7] ，上述算法都对盲元检测有较好的效果，但是或多或少会存在漏检或过检的问题，因此需要提出一种新的算法来解决这些问题。

本文在分析盲元响应特性的基础上，提出一种改进的盲元检测算法，通过对红外序列图像求时域平均图像得到差值图像，之后结合三梯度检测法，利用空域灰度中值和梯度绝对值之间的关系，设置阈值对盲元进行判别，实验结果表明，该算法对连续盲元具有很好的检测效果。之后对原始图像进行盲元补偿，得到的校正图像具有较高的质量。

2. 盲元分析

2.1. 盲元定义

在国际学术领域，关于红外焦平面阵列(IRFPA)中的盲元尚未形成统一标准，各国及各制造商均依据自身的技术理解和应用需求，制定了各自的评价体系。目前，学术界通常采用的量化标准是红外成像系统对不同温度下均匀黑体的响应特性，根据像元响应率和平均响应率的差异，将盲元分为死像元和过热像元两种。死像元是指像元响应率小于1/10平均响应率的像元，死像元数记为d，在图像上，死像元通常以灰色或暗点的形式出现；过热像元是指像元噪声电压大于10倍平均噪声电压的像元，过热像元数记为h，这类像元在图像上通常以白色或亮点的形式呈现，两种类型的像元都会对红外图像的质量造成干扰 [8] 。

像元响应率是指在特定帧周期或行周期条件下，焦平面阵列中的每个像元在单位辐照功率产生的输出信号电压，它反映了像元对红外辐射的敏感度和转换效率，用 $R\left(i,j\right)$ 表示，具体表示为：

$R\left(i,j\right)=\frac{V\left(i,j\right)}{P}$ (1)

其中， $V\left(i,j\right)$ 为像元黑体响应电压，P为辐照功率。

平均响应率是指焦平面阵列中所有有效像元响应率的平均值 [9] ，它代表了整个成像系统的整体性能，用 $\bar{R}$ 表示，具体表示为：

$\bar{R}={\displaystyle \underset{i=0}{\overset{M}{\sum }}{\displaystyle \underset{j=0}{\overset{N}{\sum }}\frac{R\left(i,j\right)}{MN-\left(d+h\right)}}}$ (2)

其中，M表示图像的行数，N表示图像的列数，d表示死盲元的数量，h表示为过热盲元的数量。

2.2. 盲元特性

盲元的产生机理主要受光学系统、焦平面阵列及传输电路等的影响，当输出信号光电转换规律异常时，在焦平面阵列中会出现时域噪声异常或响应率异常的像元，该像元即为盲元。图1为制冷型长波640 × 512的红外探测器所采集的图像。

Figure 1. Infrared images containing blind elements

图1. 含有盲元的红外图像

从图像中可以看到，除去舰船本身和行驶过程中产生的尾迹，图像还存在很多的白点和黑点，这是红外相机在成像过程中产生的死像元或过热像元等盲元，将图1所示的单帧长波红外图像的灰度空间分布归一化后，由图2可以看到，大部分的像元灰度集中在0.2~0.8之间，而且具有连续性和相关性，属于正常像元，而有少部分像元的灰度响应区别于正常像元，具有突变和孤立的特点。

Figure 2. Spatial distribution map of the normalized grayscale of the original image

图2. 原始图像灰度归一化后空间分布图

Figure 3. Time noise distribution characteristics

图3. 时间噪声分布特性

在红外相机对海面舰船进行采集的过程中，我们可以对红外焦平面阵列各探测元的时间噪声特性进行分析，为了降低噪声并提取出有用的信号，我们对连续采集的多帧红外图像进行时域平均处理，时域平均的目的是通过将所有帧在同一像元位置上的输出信号相加，然后除以帧数，来得到该像元的平均输出值。假设采集了F帧红外图像，第f帧第i行第j列的输出信号为 $X\left(f,i,j\right)$ ，则第i行第j列像元的输出的平均值为：

$\bar{X}\left(i,j\right)=\frac{1}{F}{\displaystyle \underset{f=1}{\overset{F}{\sum }}X\left(f,i,j\right)}$ (3)

像元 $\left(i,j\right)$ 的时间噪声定义为：

$\sigma \left(i,j\right)={\left[{\displaystyle \underset{f=1}{\overset{F}{\sum }}{\left(X\left(f,i,j\right)-\bar{X}\left(i,j\right)\right)}^2/\left(F-1\right)}\right]}^{1/2}$ (4)

以分辨率为512 × 640的红外相机采集到的300帧图像为例，分析IRFPA的探测元的时间噪声状况，图3为各探测元时间噪声三维分布图，由图我们可以看出，绝大部分IRFPA探测元的时间噪声集中在一个区间内，只有极少部分探测元的时间噪声过大或过小。

3. 盲元检测

盲元检测的作用是获取盲元模板 $B\left(i,j\right)$ ，它直接决定了后续盲元补偿的结果，因此合适的判定方法对于盲元检测有至关重要的作用，目前常用的盲元检测方法主要有辐射定标法和基于场景的检测方法，与辐射定标法相比，基于场景的检测方法不需要黑体辐射源设备，避免了反复定标工作，并且不依赖环境的变化。其中，在工程上，“ $3\sigma$ 方法”得到了广泛的应用，使用传统的 $3\sigma$ 方法对图像进行盲元检测时，用大小为 $\left(2N+1\right)\times \left(2N+1\right)$ 的窗口对图像任一像元 $\left(i,j\right)$ 进行加窗，计算窗口内像元的领域均值 $\mu$ 和均方差 $\sigma$ 。若像元的灰度值 $x\left(i,j\right)$ 满足下式：

$\left|x\left(i,j\right)-\mu \right|>3\ast \sigma$ (5)

则判定该像元为盲元，之后通过窗口的滑动实现对整幅红外图像像元的搜索式检测，得到的盲元模板如图4所示，当N = 4时，此时效果最好，检测到盲元数227个。

Figure 4. Blind meta templates obtained by traditional $3\sigma$ methods

图4. 传统 $3\sigma$ 方法得到的盲元模板

但是由于IRFPA属于大面阵的探测器，探测单元数目庞大，难免会产生一些连续的盲元，这时，采用传统 $3\sigma$ 方法无法有效的检测到这些盲元，在进行盲元补偿后，仍会在图像上留下白点，如图5所示，该方法对离散的盲元点检测效果较好，但在遇到盲元块后会出现漏检的情况，因此，需要改进传统的方法以便提高盲元的检测率。

Figure 5. The left is the local image of the original infrared image, and the right is the compensated image detected using traditional $3\sigma$ methods

图5. 左为原始红外图像局部图，右为使用传统 $3\sigma$ 方法检测后补偿图像

因此，本文提出了一种改进的盲元检测算法，能够有效检测到连续的盲元块，算法流程如图6所示：

Figure 6. Algorithm flow

图6. 算法流程

具体实现过程如下：

1) 取F帧连续红外图像，进行时域平均，得到均匀背景图像 $\bar{X}$ ， $X\left(f,i,j\right)$ 表示第f帧图像中 $\left(i,j\right)$ 坐标处像素的灰度值，时域均值图像 $\bar{X}$ 可由下式得出：

$\bar{X}\left(i,j\right)=\frac{1}{F}{\displaystyle \underset{f=1}{\overset{F}{\sum }}X\left(f,i,j\right)}$ (6)

2) 计算得到时域均值图像 $\bar{X}$ 与原始红外图像A的差值图像D。

3) 用大小为 $\left(2N+1\right)\times \left(2N+1\right)$ 的窗口对D内任意像元 $\left(i,j\right)$ 进行加窗，窗口记为 $W_{\left(i,j\right)}^{2N+1}$ ，则 $W_{\left(i,j\right)}^{2N+1}$ 内像元 $\left(i,j\right)$ 的邻域像元灰度中值为 $med\left(i,j\right)$ 。

4) 对D内任意像元 $\left(i,j\right)$ ，分别计算它的相邻水平、竖直、对角线方向上的梯度绝对值D₁、D₂和D₃，即：

$\begin{array}{l}{D}_1=\left|D\left(i,j\right)-D\left(i+1,j\right)\right|\\ D_2=\left|D\left(i,j\right)-D\left(i,j+1\right)\right|\\ D_3=\left|D\left(i,j\right)-D\left(i+1,j+1\right)\right|\end{array}$ (7)

或表示为：

$\begin{array}{l}{D}_1=\left|D\left(i,j\right)-D\left(i-1,j\right)\right|\\ D_2=\left|D\left(i,j\right)-D\left(i,j-1\right)\right|\\ D_3=\left|D\left(i,j\right)-D\left(i-1,j-1\right)\right|\end{array}$ (8)

5) 将每个像元的上述三个方向的绝对梯度值与 $med\left(i,j\right)$ 进行阈值判断，若在阈值范围内，则将该方向上的值判定为1，否则为0，表达式为：

$M_k\left(i,j\right)=\{\begin{array}{l}1,med\left(i,j\right)/D_k\le Th\\ 0,med\left(i,j\right)/D_k>Th\end{array}$ (9)

$M\left(i,j\right)=M_1\left(i,j\right)\cdot M_2\left(i,j\right)\cdot M_3\left(i,j\right)$ (10)

式中，k表示对应的三个方向，Th为设定的阈值。则最终的盲元模板 $B\left(i,j\right)$ 可表示为：

$B(i,j)=\{\begin{array}{l}1,M\left(i,j\right)=1\\ 0,M\left(i,j\right)=0\end{array}$ (11)

通过以上步骤，我们可以得到最终的盲元模板 $B\left(i,j\right)$ ，完成盲元检测过程。

4. 盲元补偿

盲元补偿，也称为盲元校正，是在识别和定位盲元后，通过一系列算法对受影响的图像进行图像恢复的过程。由于像元与周围的像元具有较强的相关性，目前，盲元补偿的方法多种多样，其中常用的有相邻像元补偿法、对称邻域平均法和中值滤波法等等 [10] [11] [12] 。中值滤波法作为一种非线性滤波技术，在处理包含突变信号或噪声的图像时效果显著，与线性滤波器相比，能够在一定程度上克服边缘和细节模糊的问题，同时，中值滤波的运算过程也相对简单一点，运算效率高，适用于实时图像处理，因此，我们采用中值滤波法进行盲元补偿，具体实现过程如下：

1) 盲元识别与定位：进行盲元检测得到盲元模板 $B\left(i,j\right)$ ，根据盲元检测的结果，确定盲元的位置，记为 $b\left(i,j\right)$ 。

2) 构建邻域窗口：在原始红外图像A上找到 $b\left(i,j\right)$ ，对该盲元进行3 × 3加窗，计算窗口内邻域中值m。

3) 中值计算：在邻域窗口内，计算窗口内邻域中值m。

4) 盲元替换：使用m代替窗口内中心像元 $b\left(i,j\right)$ 的灰度值，补偿后的像元灰度恢复正常，位置被剔除出盲元模板，重复操作，遍历整个原始图像A，直至完成所有盲元点补偿。

5) 得到盲元补偿后的图像并保存。

5. 实验结果讨论

使用制冷型长波640 × 512的红外探测器对目标进行采集，以采集的其中300帧图像为例，对上述算法进行试验。根据第3节给出的算法流程，对采集到的300帧红外图像，进行时域平均，得到平均图像 $\bar{X}$ ，如图7所示。根据盲元的响应特性，死像元的像元响应率远小于正常像元，过热像元的像元噪声电压远大于正常像元，在图中分别表现为下陷和突出的尖峰，能够非常容易地轻易分辨出盲元和正常像元 [13] 。

Figure 7. Image after time-domain averaging of 300 frames

图7. 300帧图像进行时域平均后图像

按照算法，对差值图像D处理，进行盲元检测，得到了如图8所示的盲元模板，可以看到，相较于传统的 $3\sigma$ 方法，本文所提出的算法可以检测到更多的盲元数量，在这幅红外图像中，可检测到322个盲元，对连续的盲元块也可以很好地检测出来，有效解决了前文所提出的遇到盲元块后会出现漏检的情况。

Figure 8. The blind meta template obtained by the algorithm in this article

图8. 本文算法得到的盲元模板

根据第4节提到的算法，进行盲元补偿。根据盲元模板对原始红外图像进行盲元补偿，补偿后的结果如图9所示，与原图相比，可以明显看到，图像质量大大提升，没有明显的盲元点，放大局部图后，使用传统 $3\sigma$ 方法检测后补偿图像中未补偿成功的像元也被成功补偿，图10显示了补偿后图像的灰度空间分布图，与原图相比，突变和孤立的像元点已基本被校正，且图像基本信息没有被改变。

Figure 9. Compensated image

图9. 补偿后图像

Figure 10. Correction of image grayscale spatial distribution map

图10. 校正图像灰度空间分布图

6. 结论

面阵红外相机具有大视场、高空间和高辐射分辨率等优点，但是从另一方面来说，由于它的高灵敏度，在进行挂飞实验时，会实时地产生盲元，这对图像质量和后续处理都造成了影响，基于场景的盲元检测方法可以有效改善这个问题。文中首先对盲元的响应进行了分析，之后提出了一种改进的基于场景的盲元检测算法，与传统的“ $3\sigma$ 准则”相比，本文提出的算法解决了无法检测到盲元块的问题，后续使用局部中值滤波法进行盲元补偿，补偿后的图像可以明显看出盲元数量大大减少乃至完全校正，实验结果证明了本文提出算法的有效性，具有一定的工程价值。