1. 引言
静脉注射、采血和输血是现代医学中抢救和治疗的重要手段,但由于血管深度、脂肪组织、皮肤色素、血管内血容量等生理因素的不同,对于一些静脉血管不明显的患者,如新生儿、儿童、肥胖人群、老年人、大出血病人及某些肤色较深的人群,即使是熟练的护士,仅靠肉眼也很难准确地找到静脉所在位置,往往要经过多次操作才可以定位成功 [1] 。这不仅会增加病人的痛苦,而且在某些急诊救治等紧急情况下,每延误一次时机都可能造成严重的后果。近红外光(波长为700 nm~900 nm)对人体组织穿透深度强于可见光,且静脉血液中脱氧血红蛋白对近红外光能量吸收明显高于脂肪和黑色素等血管周边组织 [2] [3] [4] ,因此,采用近红外光成像的方法可以显著提高静脉血管与周围组织的对比度,得到比较清晰的静脉结构图像 [5] [6] [7] [8] 。
2. 系统结构
将拍摄到的目标红外光图像进行增强、去噪、分割等图像处理后,重新投影回到目标位置,即可实现近红外显像功能。图像处理速度和投影位置的准确程度是保证静脉显像系统实用性的基础,因此,本文选择采用基于片上系统(SOC)的芯片作为核心处理器,利用ARM+FPGA结构搭建图像处理通路,从而实现静脉图像的实时处理与投影。本文将整个系统分成图像采集模块、图像处理模块和图像投影模块。系统总体设计如图1所示。
2.1. 图像采集模块
本系统将近红外滤光片及可见光-近红外滤光片切换装置加装在传统CMOS摄像头的镜头下,并且在摄像头的四周加装了近红外光源。经改进后该摄像头可以根据外部光线信号或内部触发信号切换可见光滤光片或近红外滤光片,进而控制进入摄像机镜头的光线模式。此图像采集模块可以采集自然光图像和近红外光图像。由于自带近红外光源,可以无需暗室环境,在有自然光影响的情况下直接采集图像,有效地提升了系统的便利性。系统所用摄像头的参数如表1所示。
2.2. 图像处理模块
图像处理模块由搭载了双核ARM和FPGA的Zedboard开发板为核心,由于Zedboard是一个完整的SOC系统,故本系统及方法将利用双核ARM来运行SD卡中烧制好的Linux系统,再由FPGA来加速
![](//html.hanspub.org/file/3-1540924x10_hanspub.png)
Figure 1. Near Infrared Self-registration Venous Imaging System and Method
图1. 近红外自配准静脉显像系统设计示意图
![](Images/Table_Tmp.jpg)
Table 1. The main parameter of image acquisition module
表1. 图像采集模块主要参数
执行图像处理算法流程,最终处理好的图像将由HDMI接口输出到DMD投影仪。
图像处理模块搭建过程中使用了VIVADO开发平台,利用其自定义图像处理的IP核,层次化器件编辑器和布局规划器搭建ARM与FPGA之间的核心处理通路,具体内部逻辑如图2所示。
2.3. 图像投影模块
图像处理模块采用TI公司的数字微镜器(Digital Micro-mirror Device,DMD),型号为LightCraft4500,由可见光光源和光学透镜组构成。DMD是一种新型的全数字化光调制和编码器件(如图3所示),它将上百万片反射镜集成在同一块芯片之上。可以通过控制每个反射镜的翻转调制光路,整个芯片的大小和一块CCD传感器相当,配合光源使用,可以实现微小体积投影功能。本文利用DMD芯片的特性,搭建了如图4所示的系统光路图。其中,图像采集单元使用CMOS摄像头配合850 nm红外滤光片采集人体手背近红外图像,之后通过图像处理单元实现静脉血管的分割和提取,最后使用DMD编码,将血管图像以440 nm的蓝光重新投影到手背上,从而实现静脉显像功能。
2.4. 整体结构与显像结果
理论试验阶段的光路图通过Zemax, AutoCAD模拟验证后,最终使用金属和有机玻璃搭建成现实实验阶段的系统(如图5所示),整个系统包括四层分别为:1) 图像采集单元;2) 投影反射层;3) 图像投影层;4) 载物层。通过调整相机、投影、平面镜及载物台的位置,使经过图像处理后的血管重新投影回手背上,并通过微调光路使投影位置完全重合,从而实现静脉显像功能,最终实验结果如图6所示。
![](//html.hanspub.org/file/3-1540924x11_hanspub.png)
Figure 2. Zedboard internal logic diagram
图2. Zedboard内部逻辑图
![](//html.hanspub.org/file/3-1540924x12_hanspub.png)
Figure 3. DMD Chip and 3D Printing holder
图3. DMD芯片及3D打印支架
![](//html.hanspub.org/file/3-1540924x13_hanspub.png)
Figure 4. The optical path diagram of the theoretical test phase
图4. 理论试验阶段的光路图
![](//html.hanspub.org/file/3-1540924x14_hanspub.png)
Figure 5. Near Infrared Self-registration Venous Imaging System
图5. 近红外自配准静脉显像系统
3. 图像处理流程
图像处理算的IP核是通过VIVADO及VIVADO HLS软件进行编写。近红外自配准静脉显像系统的图像处理流程(如图7所示),包括以下步骤:
1) 图像分割:红外摄像头捕捉人体静脉图像,进行初步分割,提取静脉图像,分割静脉血管;
2) 直方图均衡:利用图像直方图对对比度进行调整,增强静脉血管的对比度;
3) 卷积处理:对静脉血管做锐化,以突出静脉血管边缘与图像其他部分的灰度级跳变;使静脉血管的边缘灰度级跳变明显,为静脉血管的提取做好预处理;
4) sobel边缘检测:对锐化后的血管图像采用垂直sobel边缘提取算法,辅助以45˚角的sobel边缘检测,准确确定静脉边界;
5) 形态学操作:利用形态学闭操作去除血图像中的孔洞噪声,填充孔洞;利用形态学连通域方法连通静脉小块缺失区域,去除边界产生的干扰,使血管连续可见;
6) 血管染色:对去噪后的静脉血管图像染色,使投影出的图像颜色与患者原肤色有明显差异,便于使用者分辨静脉位置;
7) 近红外摄像头的微控制器发出近红外滤光片–可见光滤光片切换装置触发信号,使滤光片进行切换来获得投影图像与静脉图像,将两幅图像在微控制器中进行特征点匹配,确保重投影的静脉图像精准的投射到实际静脉所在位置。
步骤1)中,图像分割算法为:将红外图像转换成灰度图像,利用各向同性非抽样小波变换算法对皮下静脉进行初步分割,去除背景和部分噪声;各向同性非抽样小波变换算法分为小波分解和图像重建,在小波分解过程中,小波范围图像为
其中
为原图像,
为多范围卷积核函数,i为分解级数;
小波分解图像:
;
通过重复以上小波分解过程,获得不同小波分段的静脉图像细节。
图像重建过程为:将之前所获得的不同小波分段的小波分解图
进行结合,即将小波分解图像进行叠加,获得不同灰度范围的静脉细节,叠加公式如下:
其中,I为所有小波分解图像叠加后得出的最终图像,
为根据给定的分割标准和分解级数i算出的阈值门限,
为阀值上限,
为阀值下限,
为小波分解图像,i为分解级数。
步骤3)中,卷积处理通过以下公式实现:
其中,f为原始图像,h为根据之前经验调整好预设值的模板,g为原始图像经过卷积处理后的图像,将卷积核设定为
步骤2)、3)是考虑图像中手部皮肤与血管的对比度区别不明显,故采取直方图均衡加上卷积处理的方式来锐化血管部分。直方图均衡先增强图像的整体对比度,接着使用卷积核H对血管做锐化,以突出血管边缘与图像其他部分(如手背皮肤)的灰度级跳变,极大地提高了分割算法的准确度。
步骤4)中,采用垂直sobel边缘提取算法提取图像中静脉的主体部分,辅助以45˚角的边缘检测。由于边缘提取仅考虑了垂直方向的血管边缘提取,故该方案需要将手垂直伸入方能得到最佳效果。
步骤5)中,由于图像中血管的深度和皮肤上的干扰问题,会出现噪音和已分割出的血管中的孔洞,腐蚀膨胀操作可以有效的去除这些噪声和填充孔洞,并且去除了边界产生的干扰,使血管连续可见。
步骤6)在步骤5)的基础上,对处理完成的分割静脉血管染色,使投影出的结果与手背原肤色有较大的差异,便于使用者分辨静脉位置。
步骤7)中,特征点匹配为:将较粗的分段静脉用形态学基本操作进行细化,获得静脉血管图像的中心线,然后,根据中心线的位置信息,提取出图像中静脉的端点和分岔点作为特征点,最后将前后两幅图的特征点进行匹配。
4. 结论
本文设计并实现了近红外静脉显像系统,主要特点包括:1) 稳定的光路。采用DMD进行光学投影编码,系统光路稍有偏差就会影响投影效果。本文利用棱镜的全反射作用控制输入输出光路,同时利用偏振片消除440 nm投影光对近红外图像采集的影响,提高系统的稳定性。2) 高效的投影方式。本系统提出使用数字微镜器DMD实现投影过程,可以充分利用芯片的功能,同时也有效的控制作品的成本。3)采用了SOC架构,在单个芯片上完成整个电子系统的功能,减小了系统的体积。4) 采用了近红外光谱技术,近红外光可以显著提高静脉血管与周围组织的对比度,得到比较清晰的静脉结构图像。并且对人无伤害,安全环保。5) 优化了图像处理的算法,使图像的分割效果更加理想,并且采用了并行处理的算法,使处理效率更高,实现了实时处理。
致谢
本文获得辽宁省博士启动基金(201601015)和2017国家级大学生创新创业训练计划(201710145099)资助。