1. 引言
伴随着对地观测技术飞速发展,越来越多高分辨率遥感影像展现在专家学者们面前,对于这些影像的应用研究也越来越多,目标检测则是其中重要一种。而舰船作为海上的主要目标,对于它的检测也受到了越来越多的关注。遥感影像的舰船检测本身就有广阔的应用前景,例如海洋渔业监控、海上商业运输管理、打击非法偷渡、非法跨境捕鱼等;在战时,舰船检测更有引导制导武器、海域侦查、评估作战结果等重要作用 [1] [2] 。面对海量的遥感数据,利用人工目视识别来进行舰船检测,不仅成本高,而且效率低,获取信息的周期长,因此如何利用计算机技术快速准确地从遥感影像中自动检测舰船目标,已经成为了当前亟待解决的问题。传统的舰船检测研究多使用合成孔径雷达(Synthetic Aperture Radar, SAR)影像,因为SAR具有全天时全天候成像的优点。然而,光学影像相较于SAR影像也有其自身的优势,它容易目视解译,影像内容丰富,尤其是全色影像分辨率极高,能更好的提取舰船的轮廓、形状、结构等详细信息。近年来,一大批重放周期更短、分辨率更高的光学遥感卫星不断升空,我们可以获取更加丰富的高分辨遥感影像。因此光学影像作为舰船检测的另一个重要数据源,有着SAR影像不可替代的作用,对于它的研究也应该更加被重视。
虽然高分辨率全色影像有其自身的有点,但是全色影像中的一些形状和亮度上与舰船相似的目标容易成为检测中的虚警,例如云块、波浪、岛屿等。为了抑制这些虚警,光学影像的舰船检测一般采用由粗略到精细的两阶段检测框架。第一个阶段为候选目标提取,该阶段检测整幅影像,提取可能为舰船的目标作为候选目标。该过程不考虑虚警数量,但是要尽量减少舰船目标的遗漏,其基本思路是利用舰船目标与海面背景的灰度差异进行阈值分割,例如灰度差异分割、图像信息熵分割、局部统计方差分割。也有研究使用一些较为复杂的模型代替简单的灰度特征统计,Bi等 [3] 提出了一种基于视觉感知机理的识别方法;田明辉等 [4] 则是使用了视觉显著性模型完成对感兴趣区域的提取。Shi等 [5] 利用邻域信息将全色影像扩展成多光谱的形式,利用多光谱影像的异常提取方法提取船体。第二个阶段为舰船目标确认,该阶段是剔除第一阶段产生的候选目标中的虚警。由于该过程要求尽可能精确,现有的研究主要使用监督分类的方式识别候选目标中的虚警。它们先提取候选目标的各类特征,常用的特征包括形状特征面积、周长、长宽比、致密度等形状特征,灰度共生矩阵、局部二值模式、海面同质性等纹理特征 [6] [7] 。随后这些特征被输入Ada Boost [5] 、支持向量机 [3] 、神经网络 [7] 等分类器中对目标进行分类。
从现有的研究来看,在候选目标提取阶段中,如果简单的利用灰度差异进行阈值分割,提取结果较差,如果使用复杂的模型,会大幅增加时间成本。另一方面,我们可以看到几乎没有研究利用形态学进行舰船检测,然而形态学作为一种有效的数字图像处理工具,因其可以在保持图像基本结构特性的同时简化图像数据,已被广泛的应用于遥感影像中的车辆、房屋和道路的自动检测 [8] 。因此本文在候选目标提取阶段设计了一种基于形态学的舰船指数(Ship Index, SI),快速提取可能的舰船目标,在没遗漏的情况下尽可能的减少虚警。在随后的舰船目标确认阶段,我们在数学形态学的基础上加入了属性形态学,提取候选目标的多重形态谱特征,然后使用随机森林(Random Forest, RF)剔除虚警。本文在候选目标提取和舰船目标确认两个阶段引入了不同的形态学算法,对光学影像中的舰船目标进行检测,取得了较高的检测精度。
2. 舰船检测方法
利用高分辨率全色影像进行舰船检测,容易产生大量的虚警 [1] ,因此本文采用由粗略到精细的两阶段检测框架,结合多种形态学算法准确地检测舰船。在候选目标提取阶段,首先利用地理数据提取海岸线,进行海陆分离,去除影像中的陆地部分,然后针对海面部分构建形态学船体指数,自动增强舰船目标,滤除海洋背景,高效的提取可能为舰船的目标;在舰船目标确认阶段,对前一阶段中检测出的候选目标进行多重形态谱特征提取,使用简单的监督分类剔除其中的虚警,大幅提高检测精度。该检测方法的总体流程图如图1所示。
2.1. 候选目标提取
2.1.1. 形态学舰船指数
候选目标提取的核心算法是形态学舰船指数的构建,其基本原理是用具有方向的形态学算子构建形
![](//html.hanspub.org/file/2-2840161x9_hanspub.png)
Figure 1. The flow chart of ship detection
图1. 舰船检测流程图
态普来描述舰船的空间特性,自动增强舰船目标,滤除海洋背景,从而在不需要训练样本的条件下快速检测舰船。由于该指数是基于数学形态学构建的,所以这里首先简单介绍数学形态学的相关概念 [9] 。形态学是由腐蚀和膨胀两个基本算子组成,它们通过结构元素(Structural Element, SE)探测并改变图像的结构,图像处理的结果取决于结构元素的形状和尺寸。如果对图像先腐蚀后膨胀,可以移除图像中较亮的结构,这样一种更复杂的算子被称为形态学开运算(Opening);反之,对图像先膨胀后腐蚀则称为闭运算(Closing)。
本文利用上文的形态学描述舰船的亮度、尺度、方向等特征,构建了一个形态学舰船指数,该指数的具体计算步骤如下:
Step 1:形态学顶帽变换。在光学遥感图像中,舰船的材质反射率较高,相比于海洋背景具有较高的亮度值,因此本文使用顶帽变换(Top-hat Transformation, THT)提取舰船,即用原始影像减去开运算后的影像,同时为了更好的保持目标的形状,这里使用开重建来代替开运算 [10] 。公式(1)为顶帽变换的公式:
(1)
其中I为原始影像,
为形态学开重建,
分别为结构元素的尺度和方向。
Step 2:多方向顶帽变换。传统的圆盘形结构元素是各向同性的没有方向信息,而舰船目标却具有很强的各向异性,因此本文使用具有方向性的线性结构元素提取舰船。在进行顶帽变换时,使用不同方向的线形结构元素,然后取不同尺度的结果中的最大值突出舰船的方向性,其公式如下:
(2)
Step 3:多尺度顶帽变换。舰船的大小虽然是在一定的范围内,但不同的舰船长度、宽度、面积,具有显著的多尺度特性,因此本文使用多尺度的顶帽变换,即使用一组长度逐渐增大的线形结构元素处理影像,这一组结果称之为数学形态谱(Morphological Profiles, MP) [11] ,其数学表达如下:
(3)
为了更好的体现目标的尺度特性,本文将数学形态谱中相邻的结果相减,得到了大小在这两个尺度之间的目标,其被称为差分数学形态谱(Differential Morphological Profiles, DMP),其公式为:
(4)
Step 4:形态学舰船指数。在上述步骤中我们考虑了舰船目标的亮度、方向和尺度,根据这些特征可以定义下面的形态学舰船指数:
(5)
舰船目标在上述差分数学形态谱中具有较高的值,所以该指数越高代表该像素为舰船目标的可能性越大。
2.1.2. 双阈值分割
计算得到形态学舰船指数后,只需要对其进行阈值分割(二值化)即可得到舰船目标的提取结果。然而,简单的单阈值分割结果十分依赖阈值的选取,阈值过低会导致分割结果中有大量的噪声和虚警,阈值过高会导致目标的形状不完整,甚至使目标分裂成若干小目标。为了解决这一问题,本文采用了基于形态学重构的双阈值分割 [9] 方法,该方法使用一个较大阈值和一个较小阈值分别对指数图像进行二值分割,然后以大阈值的分割结果作为标记影像,以小阈值的分割结果作为掩膜影像,进行形态学测地膨胀。该方法可以在保持目标形状完整的同时减少分割所产生的噪声,其公式如下:
(6)
其中
表示使用阈值t对图像I进行分割的结果,
表示形态学测地膨胀。在进行双阈值分割后,对二值图像进行连通性分析即可得到舰船的候选目标,图2为整个候选目标提取阶段的一个示例。
2.2. 舰船目标确认
从图2可以看出上一阶段所得到的舰船候选目标中,仍然有许多云块和波浪被提取出来,如果用人工剔除这些虚警耗时耗力,大大降低了舰船检测的效率。部分研究提取了目标的面积、周长、长宽比等形状特征,然后对它们设置阈值来剔除这些虚警,然而这种简单的方式精度较低,对于大量形状与船体相似的虚警(图3)无法准确的剔除。因此,本文对候选目标提取了更为有效的多重形态学特征,包括数学形态谱、差分数学形态谱、属性形态谱(Morphological Attribute Profiles, AP)、差分属性形态谱(Differential Morphological Attribute Profiles, DAP) [12] ,然后将其输入随机森林分类器区别虚警和真正的舰船目标。
![](//html.hanspub.org/file/2-2840161x20_hanspub.png)
Figure 2. An example of ship candidate extraction
图2. 候选目标提取示例
2.2.1. 数学形态谱及其差分
本小节介绍数学形态谱及其衍生的差分数学形态谱特征的提取。数学形态谱的相关概念在构建舰船指数时进行了介绍,其实质是使用一组大小递增的结构元素来对影像进行形态学处理,得到一组多尺度的形态学特征。同样由于舰船相对背景是一种较亮的目标,这里仍然使用开重建作为形态学处理的算子。此处,我们没有使用顶帽变换,因为顶帽变换实质上是开重建的补集,它突出了被提取的目标使结果更加直观易懂,这在构造指数是有益的,但是作为特征其本质上与开重建是相同的。为了与其它特征形式上保持一致,本文直接使用开重建构建数学形态谱作为分类的特征,其公式如下:
(7)
其中
为形态学开重建,
为结构元素尺度。然后将数学形态谱中相邻的结果相减,可以得到差分数学形态谱,其公式如下:
(8)
差分数学形态谱表示的是,当使用的结构元素逐渐增大时,得到的一系列形态学结果的残差,因此相较于数学形态谱,差分形式能更好地进行多尺度分析。这里也使用线形结构元素来生成这两种形态学谱,因此对于每一个方向都可以生成一组形态谱。
在生成影像的数学形态谱和差分数学形态谱后,就可以计算每一个目标即二值图像中的每一个连通分量的特征向量。对于某个形态谱中某个尺度的形态学结果,计算目标对应所有像素的均值作为该目标在该尺度上的一维特征,例如某个方向上的数学形态谱有n种尺度,则可生成该方向上的n维数学形态谱特征。
2.2.2. 属性形态谱及其差分
虽然数学形态谱可以有效地提取影像的空间信息,尤其是对于具有特定模式的目标,但是数学形态谱仍然存在一些缺点。首先,数学形态谱所得到的空间信息不完整,数学形态谱通过结构元素来提取空间信息,但是每一个结构元素都具有一个固定的形状,任何一种形状都不可能完整的描述一个复杂目标的空间特征。其次,由于结构元素的限制,数学形态谱无法描述比尺度和形状更加复杂的几何特征,例如同质性、区域骨架长度等。
为了解决上述问题,Mura等 [12] 提出了属性形态谱,该形态谱是建立在属性形态学基础上的。属性形态学的基本算子是属性过滤器,它的作用如下:对于一个连通分量,如果它的该属性符合过滤器的给定规则,那么就保留它,否则就移除它。形态学属性过滤器类似于数学形态学中的结构元素,对应于形态学开运算和闭运算,属性过滤器分为属性细化(Thinning)和属性加厚(Thickening),由于本文所关心的舰船是亮目标,因此我们只需要使用属性细化。同样,对于属性形态学,我们可以设置一组阈值逐渐增大的属性规则,用它们来处理影像所得到的一组多尺度的结果即为属性形态谱,其公式为:
(9)
其中
为属性细化,
为属性规则的阈值。类似的,将属性形态谱中相邻的结果相减,可以得到差分属性形态谱,其公式如下:
(10)
属性形态学中的属性是对目标的特征表示,需要研究者根据情况进行设置,本文使用了面积、第一不变Hu矩和标准差三种常用的属性。与数学形态谱类似,对于某一个属性的谱中的某尺度结果,计算一个目标包含的所有像素的均值作为该目标在该尺度上的一维特征。
2.2.3. 随机森林
在提取每一个目标的特征后,本文使用随机森林分类器对这些目标进行监督分类,剔除其中的虚警。随机森林的本质是由多个相互独立的决策树所组成的集成分类器,森林中的每棵决策树,都利用从全部特征和样本中随机抽取的部分特征和训练样本构建而成,其中样本的抽取是可重复的。随机森林最终的决策结果是由所有决策树投票产生的。随机森林算法由于其高效稳健,而且不容易产生过拟合现象等优点,被广泛的应用于遥感影像的分类当中。同时,随机森林算法引入了特征变量的随机选择和样本的随机选择,使其对于样本数量少而且特征数量多的分类问题有较好的效果,而本文的舰船检测问题正好具备该特点,因此选用随机森林分类器进行舰船目标的确认。
3. 实验与分析
3.1. 实验数据
本实验采用的数据是2014年新加坡地区的高分辨率全色影像,该影像有法国SPOT5卫星HRG传感器获取,大小为12,000 × 12,000像素。影像的主要部分为新加坡港,新加坡港位于新加坡的南部沿海,西临马六甲海峡,由于其地理位置优越,且水域宽阔少有风暴,因此新加坡港海运繁忙,附近的海面有大量的舰船(通过人工目视判读,影像上共302艘舰船),十分适合作为实验区域。同时新加坡港是亚太地区最大的转口港和世界最大的集装箱港口之一,对于该区域的也具有较强的现实意义。
3.2. 实验设置
首先,我们说明在舰船候选目标提取阶段相关的实验参数设置。对于形态学舰船指数的生成,实验所使用的线形结构元素有4个方向,
。根据舰船的尺度大小,数学形态谱的尺度,即线形结构元素的长度设置为
。在双阈值分割中,将形态学舰船指数归一化后,取较小的阈值为0.1,较大的阈值为0.4。
然后,在舰船目标确认阶段,共提取了目标的四种形态学特征,对于数学形态谱和差分数学形态谱,它们的方向和尺度参数与生成舰船指数时相同。对于属性形态谱和差分属性形态谱,本文使用了三种属性,根据舰船的相关特征,面积属性的阈值设置为
,第一不变Hu矩属性的阈值设置为
,标准差属性的阈值设置为
。随机森林分类器的主要参数为决策树的数量和生成决策树所选取变量数量,本文将前者设置为50,后者设置为特征维数的算术平方根。另外,在使用随机森林分类时,训练样本数量设置为舰船和非舰船各20个。
3.3. 实验结果
本实验的结果使用精确度(Precision)和召回率(Recall)两个参数进行精度评价,前者可以反映检测结果中的虚警比例,后者可以评估检测结果中的漏检状况。这两个参数的公式如下:
(11)
(12)
精确度的定义是被正确检测出的舰船数量占所有被算法检测为舰船的目标数量的百分比,精确度越高表明检测结果中的虚警数量越少。召回率的定义为被正确检测出的舰船数量占影像中实际舰船总数的百分比,召回率越高漏检的舰船数量越少。
本文所提出的舰船检测方法在实验区域内取得了较高的精度,精确度达到93.86%,召回率达到92.20%,说明了该方法可以较好的从全色影像中检测舰船目标。由于实验影像较大,这里展示了实验数据的局部提取结果(图4),包括候选目标提取的结果和进行目标确认后的最终结果,被检测出来的目标用其最小外接矩形进行标记,即图中的白色方框。在候选目标提取阶段,本文所提出的形态学舰船指数共提取出634个目标,包括所有的302个舰船目标和332个非舰船目标。虽然利用舰船指数检测出了影像中的全部舰船目标,但是同时也混入了大量的虚警,如图4左图所示,在这个局部的结果中大量的云块、防波堤的部分以及少量的波浪都被检测为舰船。实际上由于实验影像中有大量的云块和波浪存在,通过舰船指数所提取的候选目标中非舰船的比例高达50%以上,如果人工判读仍然工作量巨大,因此使用机器学习的方式进一步的剔除虚警是必要的。目标确认阶段只需要将目标分为舰船和非舰船两类,并且所提取的形态学特征可以很好的描述这两类目标,于是本文使用了简单的随机森林分类器,训练分类器所选取的样本数量也较少。实验证明这样通过简单的监督分类仍然可以有效的剔除候选目标中的虚警,如图4右图所示,所有的非船体目标均被剔除,取得了较好的结果,较高的精确度同样说明了这一点,更多的局部提取结果如图5所示。
3.4. 特征分析
在目标提取阶段,本文将四种形态特征堆叠后输入随机森林进行分类,为了比较这四中形态学特征的优劣,我们增加实验将这四种特征单独输入随机森林进行分类,其结果如图6所示。观察图6可以发现,各个特征之间的表现在精确度和召回率两个参数上基本一致,对于单独的特征,数学形态谱的表现最差,差分数学形态谱和差分属性形态谱精度相当且表现最好。但是从整体上来看,单独使用任何一种特征提取精度均低于90%,均低于多种形态学特征叠加提取的精度,这证明了多特征联合分类的必要性。
![](//html.hanspub.org/file/2-2840161x37_hanspub.png)
Figure 4. Comparison of the results in two stages
图4. 两个检测阶段的局部结果比较
![](//html.hanspub.org/file/2-2840161x38_hanspub.png)
Figure 5. Some parts of the final detection results
图5. 最终提取结果的局部展示
![](//html.hanspub.org/file/2-2840161x39_hanspub.png)
Figure 6. Performance of different features
图6. 不同特征的提取精度
同时,差分形态谱的表现均好于原始形态谱,无论实在数学形态学还是属性形态学中,说明了形态谱的差分形式确实可以更好的进行多尺度分析。属性形态学所生成两类特征提取精度略高于相应的数学形态学所生成的两种特征。
4. 结论
本文针对高分辨率全色影像的舰船检测问题,提出了一个基于多重形态学特征的检测框架,该框架由候选目标提取和舰船目标确认两个阶段组成。在候选目标提取阶段,综合考虑舰船目标的亮度、方向和尺度等特征,利用形态学顶帽变换构建了一种舰船指数,该指数可以有效的增强舰船目标,滤除海洋背景。相较于现有的舰船检测方式该指数更加简单有效,实验证明对该指数进行双阈值分割后,可以提取出实验区域内所有的舰船目标。虽然形态学舰船指数可以有效的提取舰船目标,但是由于高分辨率全色影像自身的特性,其检测结果包含一些虚警,因此在舰船目标确认阶段,本文对上一阶段所检测出的候选目标进行多重形态谱特征提取,然后将它们输入随机森林分类器,检测候选目标中真正的舰船目标。实验结果证明了本文提出的多重形态谱特征可以有效的描述舰船目标的特征,使用简单的机器学习即可剔除大部分虚警,实现较高的检测精度。当然,本文的实验也存在着一些不足,主要是在舰船检测后没有进一步提取目标的其它信息,从而无法对所检测的舰船进行更详尽的分析,限制了该方法的应用范围。在未来的研究中,我们将挖掘舰船的轮廓、形状、结构等信息,同时加入多光谱影像,对所提取的舰船进行进一步的分类(例如分类为货轮、客轮、军舰等),从而使该能算法更好的应用于海洋渔业监控、海上运输管理、港口评估等领域。
参考文献