1. 引言
工业产品无损检测(Nondestructive Testing, NDT)是制造业中的关键环节,是“中国制造2025”的核心战略目标,是我国从制造大国迈向制造强国的基础和根本保障 [1]。随着X射线在工业无损检测中的广泛应用,特别是随着直接数字成像技术的发展,为产品内部缺陷检测提供了良好的途径。基于X射线穿透力与物质厚度和密度相关的特点,该技术已经广泛的应用于对工业产品内部缺陷的检测。
目前,课题组所在的X射线NDT中心每年大约有1万张左右的检测图片需要人工或半人工处理。但目前国内企业对于NDT各环节的数字化信息均通过手工、word或者Excel的方式进行保存和管理。容易造成信息丢失、不一致,进而导致信息管理效率低,查阅速度慢,既不利于信息的分析整理,也不利于信息的分类保存。因此,有必要建立一个面向焊缝NDT的信息管理系统,提高检测的效率和信息管理水平 [2] [3]。在X射线图像的焊缝图像中普遍存在边缘模糊、噪声多等问题,因此,X射线焊缝图像的滤波与增强已经成为X射线无损检测的研究热点。学者Yahaghi等提出了一种基于Gabor的改进型滤波算法,该方法不仅在噪声衰减方面取得了较大的改进,而且还可以较好地保留图像细节信息 [4]。学者Lin等通过图像的局部信息的非均匀性,采用局部自适应图像增强方法,通过局部图像直方图均衡调整对比度,增强图像,提高缺陷特征,但该方法面对大量噪声的X射线图像处理效果不佳 [5]。学者Gharsallah等提出了一种新的各项异性扩散滤波的方法,该方法可以在平滑图像的同时保留变换信息并进行锐化 [6]。Muthukumaran等学者比较了多种基于各向异性滤波的方法,采用均方误差、峰值信噪比等指标对结果进行了量化对比 [7]。Yahaghi等学者采用小波分析与阴影形状提取相结合的方法对图像进行滤波与增强,在滤波效果和计算复杂度方面都具有较好的优势,也对本文的研究给予了极大的启发 [8]。在缺陷识别分辨,研究 [9] 给了本文很大的启发,在此基础上,本文进一步地采用了更先进的YOLOv5模型对X射线图像进行缺陷识别。
2. 软件设计
壳体电子束焊缝NDT信息管理系统由于运行在单位的内部网络中,因此,采用C/S(Client-Server)的两层软件架构。C/S结构适用于企业内部网络的应用系统,一般包括服务器和客户端两部分,通过服务器与客户端的交互可以实现复杂的业务流程,并且能起到保护数据的作用 [10]。
2.1. NDT业务流程设计
为了让信息管理系统可以和NDT业务无缝对接,信息管理系统的逻辑设计就要紧贴NDT的业务流程。完整的壳体工件NDT采用申请–受理–对照工序标准–分析原始检测信息–形成检测报告的完整业务流程,如图1所示。在原始检测信息分析和形成检测报告的传统流程中加入了基于人工智能的X射线图像缺陷分析功能,软件将人工智能缺陷分析的结果自动录入数据库,为人工缺陷检测提供辅助分析和快速筛查功能。将所有的检测信息录入数据库进行保存,软件提供了多种基于文本和数据的快速数据检索方法。针对X射线图像数据,提供了基于GPU加速的Top K特征值的图像相似度快速检索算法。
Figure 1. Operation flow chart of X-ray image information management system for shell electron beam welds
图1. 壳体电子束焊缝X射线图像信息管理系统操作流程图
2.2. 系统功能设计
根据对X射线焊缝缺陷检测系统的需求分析,系统按照功能需求划分为委托信息管理、检测工序信息管理、焊缝缺陷识别、原始检测信息管理、焊缝检测信息管理、焊缝图像检索和用户管理7个基本模块,每个基本模块下的子功能模块如图2所示。
2.3. 数据库设计
由于一个中心编号(MainID)对应唯一的申请单、检测单;一个检测单可以载入多个图片编号(PicsID),每一个图片编号对应唯一的图片数据,一张图片数据可能包含多个缺陷信息。因此,数据库数据的关系的设计,不仅需要考虑X射线图像缺陷检测的流程,还需要考虑数据信息的对应关系。因此,设计三层的数据逻辑关系,如图3所示。
Figure 2. Framework of nondestructive testing information management system for shell electron beam welds
图2. 壳体电子束焊缝无损检测信息管理系统架构
Figure 3. The design of relationship for database
图3. 数据库数据关系设计
3. 主要功能模块介绍
3.1. 无损检测数据信息管理
该模块主要包括:委托申请信息管理、X射线图像焊缝原始检测信息管理、焊缝检测信息管理、检测工序信息管理、用户信息管理等子模块。主要实现数据的录入、简单查询、修改、删除等功能。图4展示了焊缝检测信息管理窗口,该窗口的左侧显示了对应此MainID下的检测图像,点击窗口右侧列表,可以浏览该图像的原始检测信息。
Figure 4. Weld inspection information management form
图4. 焊缝检测信息管理窗体
图5中展示了检测图像对应的焊缝信息和缺陷信息,实现了一张图像对应多个缺陷信息,同时软件还对焊缝位置和缺陷位置进行了标注,绿色矩形标注焊接区域,红色矩形标注缺陷区域。另外,根据办公环境中的使用习惯,本软件还具备自动生成Word/Excel报表的功能,如图6所示。
Figure 5. Detects raw information with an image browsing form
图5. 检测原始信息与图像浏览窗体
Figure 6. Radiographic inspection of the original record sheet
图6. 射线检测原始记录表
3.2. 基于小波包变换的X射线图像降噪
在X射线探伤由于成像设备如传感器,或者图像传输设备,或者光源和器件的实时稳定性影响,导致图像出现噪声污染以及噪声类型的多样化。对图像进行滤波处理是图像在进行缺陷分析前不可缺少的图像预处理过程,通过滤波可以有效的提高图像的分辨率、对比度和信噪比,可有效提高缺陷识别的准确性。噪声的会对NDT过程产生不利的影响,为减小噪声干扰,本文采用多种的滤波方法进行对比,设计了基于小波包变换的NDT图像滤波方法。离散小波包变换与小波变换具有较大的相似性,都是对信号进行逐层的分解。不同之处在于(如图7),离散小波变换只对信号的低频部分做进一步的分解,对高频部分不进行处理;而小波包变换对低频和高频分量都进行了分解,因此,可以更好地处理焊缝的边缘(如图8)。
(a)(b)
Figure 7. Wavelet and wavelet package filter method: (a) Wavelet filter; (b) Wavelet package filter
图7. 小波与小波包滤波方法:(a) 小波滤波;(b) 小波包滤波
Figure 8. The image processed by wavelet package filter
图8. 小波包滤波处理效果图
本系统的复合滤波方法还集成了均值滤波、中值滤波、高斯滤波、灰度形态学滤波与统计滤波5种常用滤波方法。本本对以上方法进行了对比试验,实验结果显示小波包滤波在对不同信噪比的图像测试中,都具有良好的鲁棒性。从焊缝X射线图像数据中随机选取包含气孔、裂纹、未融合、未焊透和无缺陷的6张图像依次进行编号,分别采用均值滤波、中值滤波、高斯滤波、统计滤波、形态学滤波和小波包滤波6种滤波方法对焊缝图像进行滤波降噪操作,计算降噪后各滤波方法对应的峰值信噪比,各峰值信噪比的计算统计结果如表1所示,对应的峰值信噪比散点图如图9所示。采用小波包滤波和形态滤波技术处理的焊缝X射线图像能够很好的降低噪声所占信号的比例,且对不同类型的噪声都具有就好的鲁棒性。
Table 1. Comparison of peak signal-to-noise ratios after different filtering of 6 types of images
表1. 6类图像不同滤波后的峰值信噪比对比
Figure 9. Comparison of peak signal-to-noise ratios after different filtering of 6 types of images
图9. 6张图像不同滤波后的峰值信噪比
3.3. 基于深度学习的缺陷检测
在焊接区域和缺陷区域标注方面与批量录入数据库方面,本软件通过Microsoft Visual Studio 2019调用,基于YOLOv5深度学习目标检测模型研发的Python缺陷识别软件,实现了快速的缺陷筛查。YOLO深度学习目标检测模型以其检测速度快、检测精度高广泛应用于工业界目标检测任务。YOLOv5是YOLO系列最新的模型,其检测精度和速度得到了进一步提升,同时模型比YOLOv4小近90%。
Figure 10. Weld defect identification method based on YOLO v5 model
图10. 基于YOLOv5模型的焊缝缺陷识别方法
焊缝定位网络和缺陷检测网络本文都采用了基于YOLOv5目标检测模型,采取的二阶段检测方法(如图10):1) 将焊缝定位网络输出的焊缝图像沿长边滑动裁剪,设置重叠率为0.2,能够避免截断缺陷区域,避免漏检或误检;2) 将得到的一系列裁剪图像输入到缺陷检测网络中,分别进行缺陷检测,再经过后处理方法得到原图的缺陷检测结果(如图11)。
Figure 11. The result diagram of weld area and defect identification
图11. 焊接区域与缺陷识别结果图
3.4. 数据信息检索
该功能模块主要有传统的面向文本的信息的数据检索和面向图像数据的相似度检索。
3.4.1. 文本信息检索
在文本信息高级检索窗体内,可以最多设置4组条件,包含一组日期条件设置,如图12所示。不同检索条件之前的逻辑关系可以自行设置复杂的逻辑关系,如(与、或、非三种关系)。
3.4.2. 图像相似度检索
根据焊缝X射线检测图像的语义描述和视觉内容构建索引,研究响应速度快、检索准确度高的图像检索模型和系统,支撑业务人员快速查找和对比历史数据。本项目采用了基于加速改进的基于内容的图像检索方法(Content Based Image Retrieval, CBIR),相比基于传统的图像检索方法,CBIR系统具有更好的实时性 [11],其系统的架构如下图13所示。
CBIR系统分为离线过程和在线过程两部分,离线过程用于处理特征提取、特征索引等耗时工作,为用户查询做好准备;在线过程用于图像检索、用户交互等需要实时处理的工作。
1) 为了加快检索速度,图像的存储分为两部分:a) 原始图像数据;b) 图像特征数据库,具体如下图所示,分布式图像存取示意图如图14所示。
Figure 14. Schematic diagram of CBIR system image data inventory
图14. CBIR系统图像数据库存取示意图
2) 为了提高数据检索的速度,检索过程采取了基于GPU Cuda加速的TopK查找算法。Hash查找阶段是检索与待查询图片汉明距离最近的K个Hash特征 [12]。利用GPU强大的并行计算能力在大规模的Hash特征中寻找满足查询条件的K个候选集,如图15所示。
Figure 15. Schematic diagram of GPU-accelerated hash retrieval algorithm
图15. GPU加速的哈希查找算法示意图
由于采用二进制数据流的形式对图片进行保存,相对于存储图像数据文件的存储路径信息的方式,减少了二次IO操作和硬盘路径检测,图像的读取速度大大提高。软件目前已经具备了相似图像检索的功能,并能自动找出最为相似的图像,如图16所示。
4. 结语
本文以壳体电子束焊缝NDT管理的广泛调研分析为基础,深入分析NDT的业务流程,形成详细的业务需求分析,结合ERP软件设计思想,完成了壳体电子束焊缝NDT的信息化管理系统软件设计与开发,大幅提高壳体焊缝无损检测中心的信息化管理水平。软件系统集成了基于小波包滤波的图像预处理功能、基于TOP K Hash的图像相似度检索功能、基于YOLOv5模型的焊缝缺陷识别功能,以上功能的引入可有效提高焊缝缺陷信息管理的办公效率和检测效率。系统目前已在北京星航机电装备有限公司稳定运行,后续将基于使用出现的问题与积累的海量数据,对软件进行进一步的完善与改进。
NOTES
*通讯作者。