基于深度学习的帕金森疾病多病程诊断网络模型

Deep Learning-Based Parkinson’s Disease Multi-Stage Diagnostic Systems

摘要: 帕金森(Parkinson’s Disease, PD)是一种神经退行性疾病。当出现明显临床特征时，超过60%的黑质神经元已经发生不可逆的退化，早期疾病的诊断尤为关键，但疾病早期的诊断存在特异性不强、特征不明显等问题。因此，本文提出一种基于深度学习的帕金森疾病辅助诊断系统。首先，运用图像分割和生成对抗网络对原始图像进行分割和扩容；其次，引入多尺度卷积和注意力机制改进MobileNetV2网络，对PD、正常组以及特征不明显的前驱体的多病程诊断任务中，诊断准确率达到了92.4%，精确度达到91.7%，召回率达到92.4%，模型表现优于其他经典网络模型，且更聚焦帕金森病理学特征区域，具有更准确可靠的临床诊断效能。

Abstract: Parkinson’s Disease (PD) is a neurodegenerative disorder. When clinical features become evident, over 60% of the substantia nigra neurons have undergone irreversible degeneration. Early diagnosis of the disease is particularly crucial; however, challenges such as low specificity and inconspicuous features exist in the early detection of the disease. Therefore, this study proposes a deep learning-based Parkinson’s disease auxiliary diagnostic system. Firstly, image segmentation and generative adversarial networks are employed to segment and augment original images. Subsequently, multi-scale convolution and attention mechanisms are introduced to enhance the MobileNetV2 network for multi-stage diagnosis tasks involving PD, normal groups, and indistinct precursor features. The diagnostic accuracy achieved 92.4%, precision reached 91.7%, and recall reached 92.4%. The model outperforms other classical network models and focuses more on the pathological features of Parkinson’s disease, demonstrating more accurate and reliable clinical diagnostic efficacy.

1. 引言

帕金森一种在老年人中发病概率较高不可逆的神经退行性疾病，因临床问诊的滞后性以及疾病早期特征微弱、诊断特异性差，疾病前期的诊断一直是研究的热点和难点。PD病理学的最新研究表明，黑质致密带(Substantia nigra pars compacta, SNpc)是多巴胺能神经元主要缺失的区域 [1] ，SNpc神经影像学变化是PD影像标志物中最具特异性的。

核磁共振成像(Magnetic Resonance Imaging, MRI)利用磁场生成人体的结构图像，能够清晰的展示SNpc的细微结构形态，根据黑质核团形态变化判断铁沉积含量，进而分析疾病严重程度 [2] 。近些年人工智能技术飞速发展，在医学影像分析中展现出卓越的性能。张巧丽等 [3] 使用优化的Alxnet对帕金森、多系统萎缩症和对照组的全脑图像进行诊断，获得了88%的诊断准确率。王洋等 [4] 搭建了一种MRIVGG-Net，使用预处理后的全脑图片训练并测试网络性能，达到平均87.63%的准确率。使用全脑图片会引入无关特征影响模型的性能。针对这个问题，李伟等 [5] 提出了一种基于动态曲面模型的3D分割方法，分割覆盖率平均在0.84左右，存在一定误差，同时需要专业的解剖先验知识，难以在临床广泛应用。Takahashi, H等 [6] 期望分割获得了SNpc的磁化转移成像和神经黑色素值来量化黑质多巴胺能的变性，ROC曲线下面积表现为0.68和0.86，证明以此对PD进行分期诊断是困难的。Qureshi等 [7] 提出一种模板结合自由轮廓的分割方法，首先使用参数方程生成多个可变形模板，再结合局部自由活动轮廓实现SN的分割，平均灵敏度达到0.83，Dice相似系数评分达到0.73。因黑质区域分割存在较大难度，上述研究总体Dice相似系数和灵敏度不高，接续诊断程序的容错率很低。但分割中脑区域难度较小，分割准确度高 [8] ，是一种高效、准确、可行的替代方案。

同时，医学图像数据难以获取，会导致小数据集问题广泛存在。张冉等 [9] 通过提取MRI扩散张量成像特征实现对正常组与PD患者组的分类，PD和正常组各选取了36例，使用Relief算法获得了81.94%的分类准确率，AUC值为0.85，算法表现严重受制于样本规模。研究人员尝试采用翻转、旋转、平移等扩充数据集方法以解决小样本问题，但本质上并未引入更多的特征信息。

此外，针对前驱体的研究总体较少且特异性不高。部分研究聚焦于前驱体的声音 [10] 、心电图 [11] ，Dehsarvi, A等 [12] 使用笛卡尔遗传编程来识别健康对照和前驱PD患者的静息功能MRI，获得了75.21%的诊断准确率。

综上所述，现阶段的研究存在以下问题，1) 存在使用全脑图片结合深度学习进行分类的工作，但缺乏证据证明神经网络根据SN区域的特异性改变而做出的分类判断。2) 研究基于少量样本，存在数据泄露、易过拟合、泛化能力差等问题，网络鲁棒性和可靠性不高。3) 仅少量研究关注帕金森前驱体(Prodromal)群体，研究多数集中在疾病中后期导致的具有明显结构性病变患者与健康对照的二分类问题，或集中于帕金森疾病与非典型帕金森综合征的诊断。

考虑以上问题，本文提出了一套基于深度学习的帕金森疾病辅助诊断系统，首先训练UNet网络分割得到中脑区域的图像，规避掉了全脑引入的无关特征对诊断结果的影响；其次搭建生成对抗网络对图像数量进行平衡和扩充，解决了数据短缺的问题，并带来全新的特征信息；最后将处理完毕的图像输入改进后的MobileNetV2网络进行训练，在添加多尺度卷积模块和注意力机制之后，模型的特征提取和性能表现都有了明显提升，在PD、正常组和前驱体的多病程诊断任务中表现优异。

2. 材料与方法

如图1所示，首先从公开数据库获取原始医学图像。样本在轴向选取中脑切片，将少量二维切片标注groundtruth训练图像分割模型，使用分割模型批量处理剩余切片，使用自适应裁剪算法，将图片调整至保留上下文特征信息的最小尺寸。其次，使用生成对抗网络对原始图像进行扩增，最后将原始样本与生成样本共同输入改进后的MobileNetV2，训练完成疾病多病程诊断任务。

Figure 1. Flowchart of the deep learning framework for Parkinson’s disease state classification

图1. 用于帕金森疾病状态分类的深度学习框架流程图

2.1. 数据源、预处理及实验环境

研究数据从帕金森病进展标志物计划PPMI (http://www.ppmi-info.org/data)、阿尔茨海默病神经影像学计划ADNI (http://www.loni.ucla.edu/ADNI)数据库获取，所有数据均可在网站上公开获得。如表1所示，数据库中随机选择了1133名受试者，包括来自PPMI数据库的266名PD，569名前驱体，48名正常受试者，来自ADNI的250名正常受试者的T2加权的MRI图像。

中脑区域为本研究所需分割区域，如图2所示，鉴于脑部三维结构特点，轴向切片图像适于展现该区域，故选用轴向切片作为研究所用数据集。分割任务中，从总数据中随机选择10%训练分割任务，以7:3的比例分为训练集和验证集，另取10%的数据作为外部测试集。分类任务中，我们将中脑分割、数据扩容完毕的数据集以7:2:1的比例划分为训练集、验证集、测试集。

实验平台电脑配置如下：CPU为Intel(R)Xeon(R) Platinum 8255C @ 2.50GHz，搭配RTX 3080(10GB)，操作系统为Ubuntu14.04，Python 版本为3.6.7，深度学习框架及版本为Pytorch1.7.0。

Table 1. Clinical information of participants

表1. 受试者临床信息

Figure 2. Tri-view MRI imaging of midbrain area. (a) Axial section scan; (b) Sagittal section scan; (c) Coronal section scan

图2. 中脑区域MRI成像三视图。(a) 轴位切面扫描；(b) 矢状切面扫描；(c) 冠状切面扫描

2.2. 中脑区域分割任务

训练UNet模型以解决图像分割问题，如图3所示，左侧的压缩部分由五组卷积层和四次下采样构成，

Figure 3. Network architecture diagram of the UNet

图3. UNet网络结构图

而右侧的解压缩部分由四组卷积和四次上采样构成。具体训练超参数如表2所示，训练使用损失函数为DiceLoss，需区分中脑区域和背景，视为分割任务中的二分类问题，Dice系数可以化简为以下形式：

$Dice=\frac{2{{\displaystyle \sum }}_{i=1}^N{y}_i{\hat{y}}_i+\epsilon }{{{\displaystyle \sum }}_{i=1}^N{y}_i+{{\displaystyle \sum }}_{i=1}^N{\hat{y}}_i+\epsilon }=\frac{2\left|y_i\cap {\hat{y}}_i\right|+\epsilon }{\left|y_i\right|+\left|{\hat{y}}_i\right|+\epsilon }$ (1)

$DiceLoss=1-Dice$ (2)

Table 2. Training parameters for segmentation task

表2. 分割任务训练参数

2.3. 合成额外样本数据的生成对抗网络

2014年一种非监督式学习被提出命名为GAN网络，GAN网络主要由两个部分组成：生成器(Generator)、判别器(Discriminator)。生成器负责将随机噪声的输入生成数据样本，判别器鉴别生成器生成的样本的真伪。两个网络竞争对抗训练，以生成与原始数据分布类似的数据样本为最终目标。本模型去除了GAN网络中的池化和全连接层，使用卷积层进行代替，搭建输入尺寸与生成尺寸均为224 × 224的全卷积网络生成对抗网络，网络层结构如图4和图5所示。具体训练超参数如表3所示。

Figure 4. GAN network generator

图4. GAN网络生成器

Figure 5. GAN network discriminator

图5. GAN网络鉴别器

Table 3. Training parameters for generative adversarial network

表3. 生成对抗网络训练参数

2.4. 图像分类网络模型

考虑到现实应用场景，选择深度可分离卷积搭建的MobileNetV2作为主干网络进行改进，节省运算资源和训练时间，为将来部署在低算力设备创造可能。如图6，采用多尺度特征捕捉的Inception模块，使用不同尺寸的卷积捕捉输入特征矩阵不同尺度上的特征，更好获取图像中的上下文细节；同时并行的方式增加了网络的宽度，提高了网络工作的效率，减少了计算和存储的开销。整体网络结构如图7所示。

Figure 6. Schematic diagram of depthwise separable convolution Bottleneck and Inception structure

图6. 深度可分离卷积Bottleneck、Inception结构示意图

Figure 7. Overall structure diagram of the classification network

图7. 分类网络整体结构图

引入注意力机制可以进一步增强网络对特征的关注，改善网络的性能和效果。受到CBAM原论文的启发，对CA模块进行改进。因结合了SE模块和CA模块的思想，将其命名为SA注意力模块，具体结构如图8所示。

Figure 8.Conceptual diagram of the SA attention module

图8. SA注意力模块概念图

设定一个尺寸如下的输入：

$F_{in}\in {ℝ}^{H*W*C}$ (3)

采用全局平均池化操作，将每个通道上对应的空间信息(H*W)压缩到对应的通道中变为一个值，此时一个像素代表一个通道，维度为C * 1 * 1。

$F_{squeeze}=\frac{1}{H*W}\underset{j=1}{\overset{j=H}{{\displaystyle \sum }}}\underset{i=1}{\overset{i=W}{{\displaystyle \sum }}}F\left(i,j\right)F_{squeeze}\in {ℝ}^{C*1*1}$ (4)

将上一步压缩得到的 $F_{squeeze}$ 经过两个全连接层，对应下式的 $w_1$ 、 $w_2$ ，其中 $\delta$ 是激活函数Relu， $\sigma$ 是激活函数sigmoid，通过全连接层重新赋予每个通道权重值。

$F_{excitation}=\sigma \left(w_2\delta \left(w_1*F_{sequeez}\right)\right)$ (5)

将上一步获得的权重值赋予原特征矩阵的每个通道，完成了特征矩阵通道维度的重校准。

$F_{out}=F_{in}*F_{excitation}$ (6)

接着对空间信息维度权重进行校准。将全局池化分为两步操作(两对1D池化)，即用两个池化核(H, 1)和(1, W)沿着特征图的两个方向，采用两种不同的方式进行池化。得到嵌入后的信息特征图，详细如下：

$Z_c^{Ah}\left(h\right)=\frac{1}{w}\underset{i=0}{\overset{i=w}{{\displaystyle \sum }}}{x}_c\left(h,i\right)Z_c^{Ah}\left(h\right)\in {ℝ}^{C*H*1}$ (7)

$Z_c^{Aw}\left(w\right)=\frac{1}{H}\underset{j=0}{\overset{j=H}{{\displaystyle \sum }}}{x}_c\left(h,j\right)Z_c^{Aw}\left(w\right)\in {ℝ}^{C*1*W}$ (8)

$Z_c^{Mh}\left(h\right)=\underset{\text{i}ϵ\left(0,w\right)}{\max }\left[x_c\left(h,i\right)\right]Z_c^{Mh}\left(h\right)\in {ℝ}^{C*H*1}$ (9)

$Z_c^{Mw}\left(w\right)=\underset{jϵ\left(0,h\right)}{\max }\left[x_c\left(h,j\right)\right]Z_c^{Mw}\left(w\right)\in {ℝ}^{C*1*W}$ (10)

其中 $Z_c^{Ah}\left(h\right)$ ， $Z_c^{Aw}\left(W\right)$ 表示分别沿空间位置的宽和高，采用平均池化的方法获得的两个嵌入特征图。 $Z_c^{Mh}\left(h\right)$ ， $Z_c^{Mw}\left(W\right)$ 表示分别沿空间位置的宽和高，采用最大池化的方法获得的两个嵌入特征图。

然后将以上四个特征图沿空间高的维度进行concatenation拼接，经过1 * 1卷积变换 $F_1$ 后激活 $\delta$ 。之后沿着拼接的方向进行Split操作，得到四个分离的特征图，再对它们分别进行卷积 $F_h$ ， $F_w$ 和激活 $\sigma$ ，最终得到四条注意力向量 $g_A^h,g_A^w,g_M^h,g_M^w$ 。

$f=\delta \left(F_1\left(\left[Z_c^{Ah}\left(h\right),Z_c^{Aw}\left(W\right),Z_c^{Mh}\left(h\right),Z_c^{Mw}\left(W\right)\right]\right)\right)f\in {ℝ}^{\frac{C}{r}*\left(2H+2W\right)*1}$ (11)

$f_A^h\in {ℝ}^{\frac{C}{r}*H*1}{g}_A^h=\sigma \left(F_h\left(f_A^h\right)\right)$ (12)

$f_A^w\in {ℝ}^{\frac{C}{r}*1*w}{g}_A^w=\sigma \left(F_w\left(f_A^w\right)\right)$ (13)

$f_M^h\in {ℝ}^{\frac{C}{r}*H*1}{g}_M^h=\sigma \left(F_h\left(f_M^h\right)\right)$ (14)

$f_M^w\in {ℝ}^{\frac{C}{r}*1*w}{g}_M^w=\sigma \left(F_w\left(f_M^w\right)\right)$ (15)

得到注意力向量之后，在各自压缩的维度上进行expand，扩展为原来的尺寸，实现与原输入特征矩阵做点对点的乘法。以此完成了特征矩阵空间信息维度权重的重校准。

$y_c\left(i,j\right)=x_c\left(i,j\right)\times g_A^h\times g_A^w\times g_M^h\times g_M^w$ (16)

分类网络训练过程的超参数如表4所示。

Table 4. Training parameters for the classification network

表4. 分类网络训练参数

3. 结果与讨论

3.1. 中脑分割

UNet在测试集的分割表现如图9所示，在本实验中，我们测试了UNet在DSC (Dice coefficient，Dice相似系数)，MIOU (Mean Intersection over Union，均交并比)，2个方面的性能。训练过程的LOSS和MIOU随训练迭代的变化见图10，训练过程并未发生过拟合现象。

$\text{DSC}=\frac{2\times \text{TP}}{\text{FN}+\text{TP}+\text{TP}+\text{FP}}$ (17)

$\text{MIOU}=\frac{\text{TP}}{\text{FN}+\text{TP}+\text{FP}}$ (18)

在UNet的评价指标中，将五折交叉验证各个folder的分割结果取均值，手工分割的性能则对数据集进行5次手动分割，计算性能指标后，取结果的均值，记录于表5。根据图10和表5的分割结果可以得出结论，100个epochs的训练后，UNet的分割性能已经可以接近取代人工分割。

Figure 9. Performance of UNet in image segmentation

图9. UNet图像分割的表现

3.2. 数据增强

图11展示了三个分任务训练过程生成器和判别器的损失变化。由图可以直观的看到，训练前期三个分任务的损失波动较大，而至训练中后期，损失逐渐稳定并在一定的范围内上下相对振荡。为感知生成图片质量，在训练过程中，每5个epochs随机抽取三张生成器产生的图片汇总如图12所示，第一列展示0~30 epochs，第二列展示30~60 epochs，第三列展示270~300 epochs。训练前期生成器不具备将随机噪声转化为理想数据的能力，故生成的图片以噪声为主。随着训练不断深入，图片的细节逐渐丰富、结构

Figure 10. Changes in MIOU and loss during segmentation network training

图10. 分割网络训练时的MIOU及LOSS变化

Table 5. Segmentation performance averaged over five-fold cross-validation

表5. 五折交叉验证取均值的分割性能

Figure 11. Losses during the training process of three subtasks in DCGAN

图11. DCGAN的三个分任务训练过程的损失

合理、噪声减少。为了定量衡量生成样本的逼真度，我们采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性(Structural Similarity, SSIM)两个评价指标。

$\mathrm{PSNR}=10\cdot \text{log}\frac{{\text{MAX}}^2}{\text{MSE}}$ (19)

$\text{SSIM}\left(x,y\right)=\left[l\left(x,y\right)\cdot c\left(x,y\right)\cdot s\left(x,y\right)\right]$ (20)

其中MAX为图片点颜色的最大数值，MSE为样本图像与标准图像的均方误差， $l\left(x,y\right)$ 、 $c\left(x,y\right)$ 、 $s\left(x,y\right)$ 分别为样本图像和标准图像在亮度(luminance)、对比度(contrast)和结构(structure)上的衡量指标，评价结果汇总与表6。

由量化结果可知，生成样本与真实样本在视觉、结构和色彩保真度上具有较高的相似性。与传统数据扩容方法获得的样本对比，本方法可以为数据集补充全新的特征信息，有助于后续模型学习更丰富的特征表示，提高模型的鲁棒性。

Figure 12. Qualitative evaluation of image quality improvement during training process

图12. 定性评估训练过程图片质量提升

Table 6. Evaluation metrics for image quality

表6. 图片质量评价指标

3.3. 帕金森疾病的诊断

本文提出的诊断系统使用图像分割的方法预处理图片，考虑到分割后特征区域较为集中，使用自适应裁剪算法扩大目标占比，以上图片处理后分类网络的类激活图表现汇总如图13所示。此后，采用生成对抗的方法解决数据不足的问题，具体性能提升见图14。图14(b)中记录了每次扩容后10次性能测试结果的均值(柱形图)和标准差(误差条)。在平衡数据、数据扩容至二倍、三倍后，网络分类性能都有了小幅稳定的提升，继续扩容数据对网络分类性能没有明显的提升，因此我们选用平衡后扩容三倍大小的数据集训练和测试最终网络的分类性能。分割和扩容对诊断结果的影响如图15所示。

Figure 13. Model attention region improvement resulting from image segmentation

图13. 图像分割带来的模型注意区域改观

Figure 14. Improvement in Classification Performance due to Data Augmentation. (a) Number of Samples for Original Images, Data Balancing, and Data Augmentation. (b) Corresponding Classification Results

图14. 数据增强带来分类性能的提升，(a) 原始图像、数据平衡、数据扩容的样本数量。(b) 对应的分类结果

数据集完成分割和扩容的结果作为优化网络的基线。引入Inception结构后，在该特征提取层，由于存在不同大小的卷积核分支，该层会同时以不同大小的感受野提取当前特征矩阵的特征，这在本任务中是至关重要的，黑质区域整体强度需要较大感受野，黑质小体-1等微小特征点需要局部感受野，所以在此利用多尺度卷积模块能同时兼顾不同尺寸的感受野需求，多尺度特征提取融合进入下一层时也携带了更多维度的特征信息。

Figure 15. Influence of segmentation and augmentation on classification task

图15. 分割和扩容对分类任务的影响

在Inception层后接续SA注意力机制模块，能够对上一层提取到的多尺度特征所占权重进行更合理的分配，包括通道维度、宽高维度，以不同的池化方式进行压缩，拼接后卷积以获得更合理的权重分配。在本任务中，需调整权重重心至黑质相关特征维度，降低无关特征的权重占比。事实证明，插入SA注意力模块和Inception模块均对模型的性能有稳定提升。此时网络应用于独立测试集的表现绘制混淆矩阵如图16所示，再根据具体分类情况计算各类别精确度、召回率、F1-score，以及三类总准确率，如表7所示。

Figure 16. Confusion matrix of classification performance of the classification network on external test set

图16. 分类网络在外部测试集分类性能的混淆矩阵

为了证明网络的每个改进点都对性能提升有所贡献，我们设置了模块的消融实验，添加SA模块和Inception模块在训练过程对网络性能的提升直观绘制于图17。如表8所示，在引入SE模块、CBAM模块、CA模块、SA模块、Inception结构后，网络均有3到5个点的性能提升，SA模块对分类性能的贡献要优于其他注意力模块，结合Inception结构后，网络达到我们现阶段的最好结果。

Table 7. Evaluation metrics for classification performance

表7. 分类性能的评价指标

Figure 17. Ablation experiments with the addition of SA module and inception module

图17. 添加SA模块、Inception模块的消融实验

Table 8. Ablation experiments of network improvement modules

表8. 网络改进模块的消融实验

从模型竞争力角度出发，将上述模型与深度学习图像分类领域的经典主流模型Alexnet、VGG16、ResNet、DensNet、MobileNetV2进行对比，结果如表9所示，ResNet101仅次于我们的模型达到了91.6%的超高分类准确率，然而改进后的MobileNetV2模型的参数量却不足ResNet101的四分之一，MobileNet系列模型能够很好地平衡参数量与识别准确率之间的关系，同水平下，选择参数量更小的模型不仅加快了网络的训练和验证速度，也满足了低内存和低算力设备的移植要求。

Table 9. Comparison of performance and complexity with different models

表9. 与不同模型的性能和复杂度的对比

4. 结论

本文提出一种基于深度学习的帕金森疾病辅助诊断系统。系统流程如下，首先使用图像分割模型自动分割中脑区域，在外部测试集的分割表现DSC达到0.95 ± 0.01，MIOU达到0.92 ± 0.03；其次构建了生成对抗网络生成新样本扩充原始数据集。PSNR和SSIM定量分析表明模型已具备生成高质量新样本的能力；最后引入多尺度特征提取模块和SA注意力机制模块优化MobileNetV2网络，在外部测试集中对PD、正常组及前驱体的分类任务中获得了92.4%的准确率，91.79%的精确度，92.44%的召回率。对比经典模型具有性能和参数量上的明显优势，本文提出的帕金森多病程诊断系统取得了优异的效果，为帕金森疾病的全程诊断提供支持。

基金项目

国家自然科学基金项目(No.62275156)。

NOTES

^*通讯作者。