1. 引言
输电线路在电力系统中发挥着重要作用,由于输电线路常年被暴露在大气中受雨雪、冰雹、太阳光暴晒以及大气中化学物质的侵害,造成输电线路腐蚀、破损给电力系统安全可靠的运行带来了巨大隐患 [1] 。传统的故障检测方法需要依靠人力进行输电线路的故障排除,但人工故障排除耗时耗力,并且部分输电线路架设在崎岖不平的山地,检测十分困难。随着输电线路覆盖范围逐渐扩大,传统的人工巡检的方式已经无法满足电力系统快速巡检的需求 [2] 。
近年来,基于深度学习的目标检测算法凭借着学习能力强检测效果好受到广泛关注。将基于深度学习的目标检测技术应用到输电线路的缺陷检测中,能够在很大程度上提高缺陷检测速度和检测精度,为准确快速查找缺陷区域提供了切实可行的技术支撑。
本文首先对输电线路缺陷深度学习目标检测算法的发展历程介绍,然后对输电线路缺陷检测的难点进行分析并从三个方面对于优化输电线路缺陷检测的算法进行总结归纳。最后,对于输电线路缺陷检测进行总结与展望。
2. 输电线路缺陷深度学习目标检测算法
基于深度学习的目标检测分为两阶段(Two Stage)目标检测和单阶段(One Stage)目标检测两类,其中用于输电线路缺陷检测的两阶段目标检测算法主要以R-CNN、Fast R-CNN为主,单阶段目标检测算法主要以YOLO、SSD为主。两阶段算法需要先提取候选区域,然后进行目标的检测和定位;单阶段目标检测算法直接通过卷积神经网络提取特征,进行目标的检测和定位。
2.1. 基于两阶段的输电线路缺陷检测
2014年Girshick等人 [3] 提出了R-CNN算法,该算法继承了传统目标检测的思想将目标检测问题转化成分类问题进行处理,奠定了深度学习在目标检测领域的基础。HE等人 [4] 在R-CNN的基础上提出了SPPNet,该网络在R-CNN的基础上做了进一步的改进和提升,将R-CNN中的多次卷积替换成了一次卷积,大大降低了计算量,但准确性有所降低。2015年,Girshick [5] 在R-CNN的基础上提出了Fast R-CNN,其检测速度远超R-CNN且计算量也减少了很多。随后Ren S等人 [6] 提出了Faster R-CNN,该网络采用RPN (Region Proposal Network)的网络结构来进行候选框的生成,其检测速度有了大幅度的提升,Faster R-CNN算法流程图如图1所示。
Figure 1. Flow chart of Faster R-CNN algorithm
图1. Faster R-CNN算法流程图
两阶段的目标检测算法在输电线路缺陷检测的应用,汤踊等人 [7] 针对输电线路部件识别与准确率较低等问题,提出了一种基于Faster R-CNN的改进算法,通过调整CNN模型的卷积核大小并扩充数据集以提高对于输电线路部件识别与缺陷检测的精度;武学良 [8] 在原有的Faster R-CNN基础上引入了一种嵌入双注意力机制用于进行输电线路螺栓缺陷检测;吴军等人 [9] 基于Cascade R-CNN算法提出了一种改进算法用于提高输电线路对于小目标缺陷检测的检测精度。
2.2. 基于单阶段的输电线路缺陷检测
2.2.1. SSD算法
2016年Liu W等人 [10] 提出了SSD (Single Shot Multibox Detector)网络模型,该网络模型的核心是使用应用于特征图的小卷积滤波器来预测边界框的类别得分和框偏移量。在不同尺度的特征图中进行不同尺度的预测以提高检测精度。SSD在提高检测速度的同时可以满足检测精度的要求,其检测示意图如图2所示。
SSD算法在输电线路缺陷检测的应用,李瑞生等人 [11] 提出了一种改进SSD算法,首先在SSD网络结构中引入残差网络同时将深层特征进行融合,其次采用卷积拆分及权值量化的方法减小模型的参数量及模型大小用于提高输电线路销钉缺陷检测的检测精度。
2.2.2. YOLO系列算法
YOLOv1 [12] 发布于2016年,主要思想是将目标检测问题转化为回归问题,其网络结构在GoogLeNet [13] 模型的基础上进行改进,使用1 × 1卷积和3 × 3卷积替代原模型的Inception结构,该网络结构共24个卷积层、2个全连接层。YOLOv1可以实现端对端的实时目标检测,但由于每一个网格只能对一个物体进行检测,因此对小目标检测的效果并不理想。
Figure 2. Schematic of SSD algorithm detection
图2. SSD算法检测示意图
YOLOv2 [14] 在YOLOv1的基础上做了进一步的提升和改进,YOLOv2引入了新的网络结构Darknet-19,该网络结构包含19个卷积层、5个Max pooling层,主要采用3 × 3卷积和1 × 1卷积,1 × 1卷积用来减少通道数以降低模型计算的复杂度。YOLOv2结合Dimention Clusters,对边界框的位置进行约束,使模型更容易稳定训练。从参考文献 [14] 中得出结论,在相同数据集VOC2012的背景下,YOLOv2具有更快的速度以及更高的检测精度。
YOLOv3 [15] 采用Darknet-53网络结构,Darknet-53中引入了大量的残差结构,用卷积核大小为3x3卷积层Conv2D代替池化层Maxpooling2D。通过在lmageNet上的分类表现,改进后的Darknet-53在保证准确率的同时网络的运行速度也有了显著提升。
YOLOv4 [16] 的颈部网络引入了SPP模块用于分离出重要的上下文特征,PANet模块用于聚合不同检测层的参数。YOLOv4的网络结构在YOLOv3的基础上引入了CSP [17] (Cross Stage Partial)网络架构,组成了新的网络结构CSPDarknet53,该网络结构增强了CNN的学习能力,使得网络更加轻量化,降低了内存成本的同时保证了检测的准确性。
YOLOv5 [18] 是在YOLOv4的基础上进一步优化得到的,具有更高的检测精度和更快的检测速度。其结构分为Input、Backbone、Neck、Prediction四部分。输入端采用了Mosaic数据增强的方式,通过随机剪裁、随机缩放、随机排布的方式将四张图片进行拼接并输入,来提高对小目标检测的鲁棒性;Backbone采用Focus结构,将输入通道扩充到原来的4倍且信息不会丢失;Neck采用FPN + PAN结构,提高了特征提取能力。YOLOv5按照其宽度和深度分为YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x五个版本。
YOLOv7 [19] 网络结构由三部分组成,输入(Input)、主干(Backbone)和头部(Head),Backbone用于特征提取,Head用于预测。在检测中首先对输入大小为640 × 640的RGB图像进行预处理,并输入到主干网络中。其次,Head层继续处理Backbone网络输出图像,通过SPPCSPC完成金字塔池化,UPSample完成上采样,然后通过ELAN-H对三层不同大小的特征图提取,其中特征图特征提取结合两个CBS模块完成从主干网特征提取到特征融合,最后在REP和CBM之后,预测图像检测的三种任务类型,输出最终结果。其在速度和精度上都在以往的版本上提高了很多。
YOLO系列算法在输电线路缺陷检测的应用,肖粲俊等人 [20] 针对背景复杂下输电线路中绝缘子的检测精度低的问题,提出了一种基于YOLOv5s的改进算法,在原有网络的基础上对数据集进行数据增强同时引入GAM注意力模块和自适应特征融合ASFF模块,改进后的算法检测精度有了进一步提升;唐靓等人 [21] 提出了一种基于YOLOv5的改进算法,在原有网络的基础上引入三重注意力机制,同时采用CIoU Loss作为损失函数,Soft-NMS作为预测结果的处理方法,改进后的网络在不影响检测速度的情况下,检测精度有所提高。宋智伟等人 [22] 提出了一种基于Flexible YOLOv7的改进算法用于对输电线路绝缘子缺陷及故障进行预警,改进后的算法对于遮挡目标、密集目标的检测效果都有了一定程度的提升。
3. 输电线路缺陷检测的研究难点
随着科技的不断进步,传统的人工巡检方式效率低、耗时长已经无法满足电力系统安全可靠运行的要求。如今输电线路的数据采集及缺陷检测大多依靠无人机技术,该技术可以快速实时进行数据收集、目标检测,为准确实时的进行缺陷检测提供了巨大的帮助。与传统的目标检测相比,利用无人机航拍进行输电线路缺陷检测还存在着以下难点 [23] 。
1) 尺度差异大。无人机巡检过程中拍摄角度拍摄高度并不固定,所拍摄的图片可能只存在局部特征,在经过数据增强、图像处理等操作可能会导致特征消失造成漏检或是特征被放大造成误检。
2) 环境恶劣。输电线路大多架设在崎岖不平的山地或山川河流之上,无人机巡检拍摄的图像背景十分复杂,对目标检测的特征提取造成了一定的困难。
3) 相似度高。输电线路缺陷检测类型较多且外形相似,无人机巡检过程中无法有针对性的对图像进行拍摄,对于缺陷类型的辨别造成了一定影响。
4) 样本缺乏。输电线路图像获取难度大,数据集标注困难,无法对输电线路的缺陷检测提供充足的训练样本。
4. 输电线路缺陷检测算法优化
随着检测背景的复杂性和检测任务难度的增加,原始的目标检测算法已经无法满足输电线路对目标检测所提出的新要求,为了提高算法的检测精度及检测的实时性,针对输电线路检测的研究难点研究人员进行了深入的分析和研究,为输电线路缺陷检测技术的发展做出了巨大贡献。本章主要从三个方面介绍了输电线路缺陷检测的优化算法。
4.1. 小目标检测的算法优化
无人机巡检过程中所获取的目标尺度大小不一致且多为小目标,针对小目标误检漏检所导致的检测效果差的问题,国内外的学者提出了许多切实可行的方案。
蔡文彪等人 [24] 针对无人机拍摄图像尺度差异大,小目标检测效果不好等问题,提出了一种改进的Faster RCNN模型用于优化输电线路的缺陷检测。该方法在原有的Faster RCNN模型的基础上引入多尺度特征提取RPN、ROIAlign及K-均值聚类锚框。其中多尺度特征提取RPN用于解决目标图像大小不一致,小目标检测效果差的问题,K-均值聚类锚框用于生成合适的输电线路缺陷检测锚框集,ROIAlign用于实现特征映射。改进后的算法检测对于提取小目标缺陷检测有了一定程度的改善。
刘兰兰等人 [25] 针对输电线路缺陷检测精度不高的问题,提出了一种基于超分辨率重建与多尺度特征融合的方法用于输电线路的缺陷进行检测。首先使用超分辨率网络对图像进行处理,然后在原有的YOLOX [26] 网络上增加卷积注意力机制以提高对小目标的定位能力,增加小目标检测层以提高小目标的检测精度,最后引入CIoU [27] 损失函数提高模型的收敛能力。改进后的模型可以在保证检测速度的同时满足检测精度的要求。
叶翔等人 [28] 针对输电线路图像检测精度低,训练时间长等问题,提出了一种基于YOLOv3的改进算法。在原有网络的基础上引入K-means++算法以提高网络对于小目标的敏感度,引入Focal Loss函数、Mish函数、注意力机制SENet以解决样本不均衡、精度不高的问题。改进后的算法可以满足实时检测的要求,其检测精度也有一定程度的提升。
上述的改进方法都针对提升小目标图像的检测精度做了不同方式的改进,改进后的算法无论是在检测速度上还是在检测精度上都有不同程度的提高。
4.2. 复杂背景下的算法优化
受输电线路架设地域的影响,无人机巡检所拍摄的图像背景都较为复杂,在进行缺陷检测时检测精度会受到影响图像背景的影响,目前较为有效的解决办法是在网络中添加注意力机制来提高对于识别信息的特征提取能力 [29] 。
注意力机制分为通道注意力机制、空间注意力机制、混合注意力机制、自注意力机制、坐标注意力机制等,已经成为网络结构中的重要组成部分,在进行目标检测时,大多是对某一类或某几类目标进行检测和识别,这就需要网络对输入图像的信息进行设置,使其可以倾向于关注所需要识别的图像信息或图像区域并忽略不相关的信息,以提高检测效率。
戚银城等人 [30] 针对输电线路上的螺栓体积过小检测时特征难以提取的问题,提出了一种基于Faster R-CNN的改进算法,在原有网络的基础上引入双注意力机制分别对不同尺度不同位置的图像特征进行分析和增强,改进后的算法对于缺陷检测的检测精度有了一定程度的提升。
赵霖等人 [31] 针对输电线路鸟巢识别准确率低且安全性不足的问题,提出了一种基于YOLOv5的改进算法,在原有网络的基础上引入CBAM注意力模块 [25] ,用于提高对于鸟巢的特征提取能力,同时在颈部网络中引入自适应特征融合模块用于加强多尺度特征融合效果,使用Mish函数作为激活函数以提升该模型的分类准确率和泛化能力。改进后的算法对于遮挡目标以及小目标的检测性能都有了不同程度的改善。
上述的改进算法中,都对注意力机制做出了改进,改进后的算法对于目标的特征提取能力都有了一定程度的提高。
4.3. 边缘网络轻量化的算法优化
针对目标检测算法网络结构参数量较大,检测算法推理速度慢很难被应用到移动设备中的问题,国内外的学者提出了轻量化的网络结构可以用来替代原算法中的特征提取网络、剪枝等方法,以加快推理速度满足实时检测的需求 [32] 。
王宇博等人 [33] 针对输电线路算力过大难以满足无人机巡检的实际应用需求等问题,提出了一种基于YOLOv7的改进算法,同时将原有的主干网络替换成轻量化自注意力主干网络并引入BiFPN [34] 进行特征融合,由于输电线路缺陷检测数据集过少提出了自动扩充数据集的方法扩大数据集。改进后的算法,可以满足实时检测的要求,巡检效率也在一定程度得到了改善。
刘闽等人 [35] 针对边缘设备推理速度慢等问题,提出了一种基于YOLOv5的改进算法,引入R-D模块和重参数化SPP (Spatial Pyramid Pooling)用来加快模型的推理速度,同时利用ResRep剪枝方法减小模型所占用的内存空间并将其部署到边缘平台进行模型加速优化。改进后的算法模型占用空间有所下降,模型精度推理速度有了不同程度的提升。
党宏社等人 [36] 针对目标检测模型过大检测速度过慢等问题,提出了一种基于YOLOv4的改进算法,其在原有网络的基础上引入MobileNet V2网络模型作为特征提取网络同时使用深度可分离卷积以减少模型参数,使用K-means聚类获取绝缘子的先验知识,在颈部网络使用h-swish函数作为激活函数以减少特征提取过程中的信息损失。改进后的算法在满足检测精度的同时又可以保证检测速度。
马富齐等人 [37] 针对输电线路覆冰积雪检测应急处理存在难度等问题,提出了一种轻量型多感受野表征的方法用于对输电线覆冰厚度的并行识别。该识别方法采用轻量化网络MobileNet V3提取输电线路覆冰图像特征,引入多感受野模块以增强特征提取能力。改进后的算法可以适应极端天气下的覆冰识别并保持较高的检测精度。
上述的改进方法主要都是通过轻量化网络结构或剪枝的方式对网络进行改进,经过更改后的网络对于目标检测的精度以及目标检测的实时性都有了不同程度的提升。
4.4. 总结与展望
本文从深度学习目标检测算法、输电线路缺陷检测的研究难点、算法优化三部分对基于深度学习的输电线路缺陷检测展开论述,深度学习目标检测技术发展至今已经日趋成熟,但仍存在着一些缺点和不足,现针对输电线路缺陷检测的研究做出如下展望:
1) 虽然目标检测技术的检测精度可以满足实际应用的需求,但其对于小目标检测和复杂场景下遮挡物的检测仍有所欠缺,未来可以针对被遮挡物的目标检测进行研究。
2) 当前的目标检测技术大多数需要依赖大型计算机,无法满足移动端或嵌入式设备所需要的内存空间,对于输电线路缺陷检测轻量化的研究仍然需要继续。
3) 移动端或嵌入式设备在对于目标检测算法进行改进和提升的过程中,改进的方法大多针对特定版本或特定算法而不是通用的改进算法,缺少一定的学习迁移能力。如何把已知的改进算法迁移到未知算法中仍是我们需要关注的问题。
4) 缺少输电线路缺陷检测的公开数据集,数据集中样本参数过少,会对训练结果的准确性造成影响,未来输电线路缺陷检测数据的收集工作仍需要继续进行。
NOTES
*通讯作者。