基于自适应S曲线变换的红外图像增强

Infrared Image Enhancement Based on Adaptive S-Curve Transformation

摘要: 随着红外热成像技术的不断发展，红外图像在民用领域和军用领域都得到了越来越广泛的应用。原始红外图像反映的是特定场景的红外辐射分布，其整体视觉效果往往较差，具有对比度不佳和图像纹理细节不清晰的缺点。它在直方图中呈现出灰度值范围较窄和峰值明显的特点，其图像清晰度往往不佳，因而其必须经过图像增强处理才能适于人眼观察。本文提出了一种基于自适应S曲线灰度变换的红外图像增强算法。通过客观评价指标的计算，结合主观评价方法对图像进行对比评价，结果表明本文提出的算法能够提高红外图像的对比度和增强图像细节，在保证图像不失真的基础上有效地改善红外图像的视觉效果。

Abstract: With the continuous development of infrared thermal imaging technology, infrared image has been increasingly applied in both the civilian and military fields. The original infrared image reflects the infrared radiation distribution of a specific scene, and its overall visual effect is often poor, with poor contrast and unclear texture detail in the image. Therefore, it exhibits a narrow range of grayscale values and obvious peaks in the histogram, and its image clarity is often poor. Therefore, it must undergo image enhancement processing to be suitable for human observation. This article proposes an infrared image enhancement algorithm based on adaptive S-curve grayscale transformation. By calculating the objective evaluation indicator and combining subjective evaluation methods to compare and evaluate images, the results show that the algorithm proposed in this paper can improve the contrast of infrared images and enhance image detail, effectively improving the visual effect of images while ensuring they are not distorted.

1. 引言

纵观古今，特别是信息化发展的当今时代，信息在人类社会的发展中扮演着至关重要的角色。信息不仅是人类沟通交流的桥梁，而且还是知识的重要载体。作为一种常见的信息，视觉信息具有极高的研究和应用价值，图像是它的一种重要的呈现形式。图像是人类视觉研究的基础，常见的图像有可见光图像和红外图像。红外成像实现了图像研究从可见光波段到红外波段的拓展，对视觉系统的研究与应用具有十分重要的意义。可见光成像不适合应用于黑暗或者有雾等恶劣条件的拍摄场景，而红外成像则不同，它是一种被动探测方式，受周围环境的影响较小，红外成像系统设备具有隐蔽性并且能够探测到被遮蔽的目标 [1] 。因而红外成像不仅能够很好地应用在黑暗或雾天等特殊环境中，而且还可以用于遮蔽物较多的复杂场景的小目标探测 [2] 。

随着红外成像技术的不断发展，红外图像的应用越来越广泛。红外成像能够应用于实时探测、目标跟踪的实际需求中，无论是在民用领域，还是在军用领域，红外成像都发挥着越来越重要的作用。例如，疾病的早期诊断 [3] 、农林业病害检测 [4] 、复杂野外场景的目标探测 [5] 等。在较好的拍摄条件下，由可见光成像系统捕获的图像具有对比度佳、图像细节信息丰富和图像层次感强的优点。而红外成像是依据探测器接收到的红外辐射而成像的，其呈现的图像往往具有对比度不足和图像清晰度不佳的缺点 [6] ，其必须经过图像增强处理才能满足人眼视觉需求。因此针对红外图像增强算法的研究具有极其重要的价值。红外探测器的工艺进步和图像的校正处理使红外图像的噪声问题得到了有效解决。基于此基础上，本文在典型的8位红外图像层次上开展了红外图像增强算法的研究。

2. 红外图像增强算法的理论基础

红外图像增强的实质是通过图像增强处理使红外图像具有更佳的视觉效果。本章研究的是红外图像增强算法的相关理论基础，旨在于为后续提出的红外图像增强算法提供必要的理论支撑。

2.1. 原始红外图像的特点

红外图像是通过红外成像系统聚焦红外辐射的方式而形成的。由红外探测器采集得到的图像反映的是背景和目标的红外辐射情况，是没有层次感的低分辨率灰度图像 [7] 。红外图像的视觉效果与图像呈现的辐射差有关 [8] 。景物的红外辐射需要经过大气传输过程才能被红外探测器所探测。由于受到大气衰减和远距离传输的影响，红外图像具有对比度低和边缘清晰度不足的特点。未经过图像增强处理的原始红外图像往往呈现出整体视觉效果不佳的特点。在图像处理研究中，直方图是一种呈现图像特点的重要形式。原始红外图像的直方图往往具有较窄的灰度值范围。如场景1的图1所示，红外图像及其直方图就是一个典型的代表。原始红外图像直方图往往具有一个或两个明显的峰值，其中主峰值往往比较突出。原始红外图像呈现出对比度不佳和纹理细节不清晰的特点，红外图像的这些实际的视觉效果与其直方图的特征相符合。

a) 原图 b) 原图直方图

Figure 1. Original image and its histogram in scene 1

图1. 场景1原图及其直方图

对于一幅图像，当其整体灰度值在灰度级范围的中间区域时，其视觉效果往往更佳。场景1整体灰度变小的图像、整体灰度变大的图像及它们的直方图如图2所示。相比较于暗图和亮图，场景1的原图具有灰度适中的特点，其图像视觉效果更好。

a) 暗图 b) 暗图直方图c) 亮图 d) 亮图直方图

Figure 2. Image and its histogram in scene 1

图2. 场景1图像及其直方图

2.2. 常见的红外图像增强算法

针对红外图像增强算法的研究，目前国内外学者根据不同应用场景提出了相应的算法，取得了许多的成果。红外图像增强算法的划分是比较灵活的，通常情况下根据处理空间的不同，红外图像增强算法可分为基于空间域的算法和基于变换域的算法两大类。前者是直接对图像灰度级进行运算，而后者则是在处理图像变换域时对图像的系数值进行改变，是一种对图像间接增强的算法。基本的红外图像增强算法有直方图均衡化、线性灰度变换和伽马变换。

直方图均衡化算法是一种简单实用的图像增强算法 [9] 。该算法的主要思想是通过直方图统计和均匀映射的方法而改善像素点灰度值的直方图概率分布。传统的直方图均衡化是在整体图像平面上进行简单的变换操作的，它是一种全局直方图均衡化处理。线性灰度变换是一种整体改善图像灰度分布的算法。合适的线性灰度变换算法能够有效拉伸图像的灰度范围和有选择性地增强图像的感兴趣区域。线性灰度拉伸是一种常见的线性灰度变换，其计算公式见公式(1)。 $f\left(x,y\right)$ 表示原图像像素灰度值， $g\left(x,y\right)$ 表示经过变换处理后的图像像素灰度值。a表示图像像素灰度值的最小值，b表示图像像素灰度值的最大值。伽马变换也叫幂律变换，是一种常见的改变图像对比度的算法。其变换参数取值与需要增强的图像灰度值区域有关，算法效果体现为拉伸部分图像灰度级区域和压缩其他图像灰度值区域。

$g\left(x,y\right)=\frac{255}{b-a}\left[f\left(x,y\right)-a\right]$ (1)

2.3. 红外图像的质量评价指标

实际应用中，衡量图像质量的评价方法可划分为主观评价、客观评价这两种 [10] 。主观评价方法是依据人眼视觉的主观感受的评估方法。对红外图像质量进行主观评价，可用肉眼直接观测红外图像，这种方法在总体上是十分快捷有效的。

客观评价方法是一种将数学模型的确定计算数值作为评价指标的方法。此方法科学实用，适用性好。图像质量的客观评价方法有很多，本文将峰值信噪比、标准差和平均梯度作为红外图像质量的客观评价指标。

$m$ 、 $n$ 分别表示图像像素点的总行数和总列数。峰值信噪比的计算见公式(2)，它常用来评判图像的失真情况，可以客观地呈现原图与增强处理后的图像的差异程度。其中， $w$ 是指图像的位深， $MSE$ 是均方误差，其计算公式见公式(3)。对于位深为8的红外图像， $PSNR$ 的合理取值范围为[20, 50]。

$PSNR=10\lg \frac{{\left(2^w-1\right)}^2}{MSE}$ (2)

在均方误差公式中， $c\left(i,j\right)$ 代表经过增强处理后的图像灰度值， $l\left(i,j\right)$ 则指原图像的灰度值。

$MSE=\frac{1}{m\times n}{\displaystyle \underset{i=0}{\overset{m-1}{\sum }}{\displaystyle \underset{j=0}{\overset{n-1}{\sum }}{\left[c\left(i,j\right)-l\left(i,j\right)\right]}^2}}$ (3)

标准差是评价图像整体对比度的常用指标，其表达式见公式(4)。其中， $h\left(i,j\right)$ 表示该像素点的灰度值。 $p$ 表示图像像素点灰度值的平均值，其计算公式见公式(5)。图像的标准差越大，图像的对比度就越高。

$S=\sqrt{\frac{1}{m\times n}{\displaystyle \underset{i=0}{\overset{m-1}{\sum }}{\displaystyle \underset{j=0}{\overset{n-1}{\sum }}{\left[h\left(i,j\right)-p\right]}^2}}}$ (4)

$p=\frac{1}{m\times n}{\displaystyle \underset{i=0}{\overset{m-1}{\sum }}{\displaystyle \underset{j=0}{\overset{n-1}{\sum }}h\left(i,j\right)}}$ (5)

图像边缘清晰度是评价图像质量的重要切入点，平均梯度是评价图像边缘清晰度的指标之一，其计算见公式(6)。 $\Delta t_1\left(i,j\right)$ 代表图像像素点在水平 $x$ 方向上的梯度幅值， $\Delta t_2\left(i,j\right)$ 代表图像像素点在垂直 $y$ 方向上的梯度幅值。本文将prewitt梯度算子作为图像的梯度幅值的计算方法。图像的平均梯度越大，则其包含的边缘细节信息就越丰富。

$AG=\frac{1}{m\times n}{\displaystyle \underset{i=0}{\overset{m-1}{\sum }}{\displaystyle \underset{j=0}{\overset{n-1}{\sum }}\sqrt{\frac{\Delta t_1^2\left(i,j\right)+\Delta t_2^2\left(i,j\right)}{2}}}}$ (6)

3. S曲线灰度变换

S曲线灰度变换的原理是将图像像素灰度值由中心点向两端拉伸，典型的S曲线灰度变换计算公式见公式(7)。其中， $t$ 为大于1的常量， $h\left(i,j\right)$ 表示归一化的灰度值。S曲线灰度变换处理的一个必要操作是首先将图像像素灰度值进行归一化处理。此外，S曲线灰度变换的关键是图像归一化直方图灰度值整体在灰度范围的中心附近，近似关于0.5对称。

$S\left(i,j\right)=\{\begin{array}{l}255\times 0.5\times \frac{t^{h\left(i,j\right)}-1}{t^{0.5}-1}0\le h\left(i,j\right)\le 0.5\\ 255\times 0.5\times \left[\frac{1-t^{1-h\left(i,j\right)}}{t^{0.5}-1}+2\right]0.5<h\left(i,j\right)\le 1\end{array}$ (7)

对于8位红外图像，典型的归一化公式见公式(8)。 $X\left(i,j\right)$ 表示原图像的灰度值。

$h\left(i,j\right)=\frac{X\left(i,j\right)}{255}$ (8)

S曲线灰度变换适合应用于低对比度图像的增强。为了使归一化直方图灰度值总体在0.5附近，本文对归一化处理方法进行了调整创新，这一点满足图像整体灰度值处于亮暗程度适中的优势。低对比度图像直方图灰度值分布大体集中在一个小范围内，根据此特点，本文的归一化处理过程见公式(9)。其中， $X_{mid}$ 表示图像中所有像素灰度值的中值。通过此归一化方法可以使红外图像直方图近似关于0.5对称。

$h\left(i,j\right)=\{\begin{array}{l}\frac{X\left(i,j\right)}{2\times X_{mid}}0\le X\left(i,j\right)\le X_{mid}\\ \frac{X\left(i,j\right)+255-2X_{mid}}{2\times \left(255-X_{mid}\right)}{X}_{mid}<X\left(i,j\right)\le 255\end{array}$ (9)

用 $M$ 表示图像总像素除以256的计算值，将图像直方图中像素个数大于 $M$ 的灰度级的个数用 $m$ 来表示。当图像不存在该灰度级的像素时，此灰度级为无效灰度级。定义 $n$ 为图像的无效灰度级个数。对于公式(7)，本文根据红外图像的直方图特点对参数 $t$ 进行自适应取值，其自适应取值公式见公式(10)。

$t=\frac{256\times n}{m}$ (10)

4. 实验结果与数据分析

实验的模拟仿真软件为MATLAB。上一章提出的自适应S曲线灰度变换是本文的红外图像增强算法，为了评价增强效果，本文同时仿真了直方图均衡化和线性灰度拉伸这两种传统算法。各场景中，原图和各算法处理的效果图如图3所示。不同场景的各算法的客观评价分别见表1、表2和表3。

主观评价上，通过直接观察原图和增强图像的方法对它们进行对比。在这三个场景中，经过直方图均衡化处理的红外图像存在明显的亮区域和暗区域，出现了过曝光的图像整体失真问题。经过线性灰度拉伸处理的红外图像具有较好的整体对比度，但图像边缘清晰度的增强效果不明显。经过本文算法处理的红外图像具有对比度大和图像边缘细节清晰的特点，其图像视觉效果最佳。例如，场景1中道路视觉效果、车辆轮廓和房屋纹理细节变得清晰，场景2中树木和人的视觉效果变好，场景3中树木和房屋的轮廓变得清晰可见。

客观评价上，结合峰值信噪比、标准差和平均梯度对增强的红外图像进行全面的分析。经过本文算法处理的图像在峰值信噪比上满足要求，其值在[20, 50]的合理范围内。经过直方图均衡化或者线性灰度拉伸处理的图像则不在合理取值范围内，这与主观评价上过曝光的失真问题相符合。特别对于直方图均衡化算法，过大的标准差也能体现出过度失真的问题。同时在平均梯度上，经过直方图均衡化处理的图像取得过大值。经过本文算法处理的图像在对比度上取值比经过线性灰度变换处理的图像小，在平均梯度上取值却较大，观察图像可以看出经过本文算法处理的红外图像具有最佳的边缘细节增强效果。

主观评价和客观评价的多角度分析表明，本文算法在图像增强处理上比直方图均衡化和线性灰度拉伸好。

a) 场景1原图 b) 场景1直方图均衡化 c) 场景1线性灰度拉伸d) 场景1本文算法

e) 场景2原图 f) 场景2直方图均衡化 g) 场景2线性灰度拉伸 h) 场景2本文算法i) 场景3原图 j) 场景3直方图均衡化 k) 场景3线性灰度拉伸l) 场景3本文算法

Figure 3. Original image and various algorithm processing renderings

图3. 原图及各算法处理效果图

Table 1. Comparison of algorithms in scene 1

表1. 场景1各算法的对比

Table 2. Comparison of algorithms in scene 2

表2. 场景2各算法的对比

Table 3. Comparison of algorithms in scene 3

表3. 场景3各算法的对比

5. 结论

原始红外图像具有较低的对比度和边缘清晰度，需要进行增强处理从而改善图像质量。针对其特点，本文提出了一种自适应S曲线灰度变换算法。在主观评价和客观评价中比较本文算法与基本的红外图像增强算法的处理效果，表明本文提出的自适应S曲线灰度变换算法可以有效地提高红外图像的对比度和红外图像的边缘细节清晰度。实验结果表明，经过本文算法处理的红外图像具有较佳的视觉效果，其图像质量得到明显的改善。