基于人工神经网络对荧光偶极子空间方位的高精度识别

High Precision Identification of Fluorescent Dipole Spatial Orientation Based on Artificial Neural Network

摘要: 单分子定位显微镜具有在纳米尺度上解析生物样品结构细节的能力。然而，传统的方法计算比如高斯模型拟合，Kirchhoff矢量近似和极化法，因复杂度太高或者是需要复杂精密的实验仪器而不利于快速准确的预测定位，限制了单分子定位显微镜的分辨率。最近，人工神经网络技术的发展极大的促进了传统光学显微技术的发展。因此，基于单分子荧光偶极子分子在高NA成像系统下的点分布函数的物理模拟，本文提出并研究了将多层感知器和卷积神经网络两种人工神经网络应用在预测荧光偶极子分子的空间取向。本文的研究显示，相比于多层感知器，卷积神经网络不仅对荧光偶极子空间取向具有更高的准确率，其运行速度和参数量都具有较明显的优势。而且，卷积神经网络在模拟的高噪声预测中有更强的鲁棒性。本文的研究为卷积神经网络在快速准确的单分子荧光成像中应用奠定了基础。

Abstract: Single-molecule localization microscopy has the capability to resolve structural details of biological samples at the nanoscale. However, traditional computational methods such as Gaussian model fitting, Kirchhoff vector approximation, and polarization methods are limited in their ability to predict localization rapidly and accurately, either due to their high complexity or the requirement for complex and precise experimental instruments, thereby constraining the resolution of single-molecule localization microscopy. Recently, the significant development of artificial neural network technology has greatly promoted the advancement of traditional optical microscopy techniques. Therefore, based on the physical simulation of the point spread function of single- molecule fluorophores in high NA imaging systems, this study proposes and investigates the application of two artificial neural networks, namely multilayer perceptrons and convolutional neural networks, in predicting the spatial orientation of fluorescent dipole molecules. The research demonstrates that, compared to multilayer perceptrons, convolutional neural networks not only exhibit higher accuracy in predicting the spatial orientation of fluorescent dipoles but also have distinct advantages in terms of operational speed and parameter count. Moreover, convolutional neural networks show stronger robustness in simulated high-noise predictions. This study lays the groundwork for the application of convolutional neural networks in rapid and accurate single-molecule fluorescence imaging.

1. 引言

传统光学显微镜对纳米尺度的物体进行成像时，因为受到阿贝衍射极限的限制，所以成像的分辨受到约为$\lambda /2\text{NA}$ 的限制。其中$\lambda$ 是发射光的波长，NA (Numerical Aperture)是物镜的数值孔径[1]。但在过去的15年里，超分辨率显微镜的快速发展使荧光显微镜能够在远低于光的衍射极限进行成像[2]，例如光激活定位显微镜(PALM) [3]、荧光(F) PALM [4]和随机光学重建显微镜(STORM) [5]-[9]。因此，这些基于单分子定位的荧光显微镜在突破光学衍射极限成像中，产生了广泛的应用价值。

然而，传统的单分子定位荧光显微镜主要基于以下两种方法且具有不同的缺点：第一种是基于高斯模型拟合[10]，该方式能够从数百万发射体中提取定位信息，将点分布函数(point spread function/ PSF)近似成一个高斯分布，并通过最小二乘法拟合或最大似然估计找到高斯函数的中心，能够实现对于荧光偶极子单分子的定位[10] [11]。然而，荧光偶极子单分子在固定的情况下，继续使用高斯近似会导致大量的定位偏差[12]，如果想要避免这些误差，就需要使用更复杂的图像预测模型。第二种方法是基于Kirchhoff矢量近似来模拟荧光偶极子分子在不同方向上光的相互作用，从而进行定位计算[13]，或者基于极化法和光斑形状检测相结合的方法获取荧光偶极子分子辐射的光的极化信息[14]-[16]，通过比较不同偏振方向下的图像从而进行推断[17] [18]。然而，这种方法对于高NA物镜，特别是对于高水平的背景噪声，是不可能从单一的图像估计正确的位置，因此会导致不稳定的拟合结果。因此，传统拟合方法都有不足之处：高斯模型拟合对于具有固定偶极取向的荧光体来说并不合适，可能引入数十纳米的系统误差[10] [19] [20]，矢量近似涉及到复杂的数学计算将导致计算上的负担，极化法和光斑形状检测相结合的方式虽然解决了误差问题，但需要复杂的实验设置和精密的仪器而不利于快速精确的定位荧光偶极子分子的空间取向。

近年来，显微成像领域的研究转向使用人工神经网络(Artificial neural networks/ANN)的深度学习[21]来解决光学和光子学问题[22]。人工神经网络通过模仿生物神经网络的处理行为，能够学习复杂的关系，而无需使用特定的物理规则进行编程[21]。特别是，人工神经网络最初应用于天文望远镜系统来提高成像系统的清晰度[23]-[25]。在显微成像领域领域，人工神经网络能够间接[26]-[28]或者直接探测出成像系统的像差[29]-[31]，提高成像的灵敏度。此外，近来有研究已经开始使用人工神经网络去做荧光分子的PSF工程来实现对空间取向定位[32] [33]，这种利用人工神经网络的来提高显微成像系统成像质量的方法，已被证明具有明显的高效性和可靠性[34]。

因此，本文提出了利用人工神经网络的方法对荧光偶极子分子的空间取向进行预测的研究。首先，本文基于Wolf和Richards对于荧光偶极子在高数值孔径(NA = 1.2)物镜下点分布函数的理论，数值模拟出用于训练人工神经网络的数据集和测试集。基于这些高精度的数据集，研究了两种流行的人工神经网络在预测荧光偶极子分子空间取向(极角polar angle和方位角Azimuthangle)的精度。具体而言，基于荧光偶极子分子在高NA的成像系统下生成的不同的物理点分布函数数据集，并对比了多层感知器(Multilayer perceptron/MLP)和卷积神经网络(convolutional neural network/CNN)两种在图像识别领域广泛应用的神经网络架构在预测荧光偶极子分子空间取向的性能。在预测精度上，CNN有更多的优势，在没有噪声数据集上识别准确率在极角上会比MLP高7%，而在方位角上会高9%，在运算速度和参数效率方面，CNN的参数量会比MLP少0.031 M (Mega)但FLOPs会多0.36M，特别是，在噪声从0%增加到50%的情况下，CNN能比MLP有更高的识别准确率，因此表现出更强的鲁棒性。因此，本文的研究为人工神经网络特别是卷积神经网络在快速准确识别荧光偶极子分子的空间取向的超分辨显微成像中的应用奠定了基础。

2. 研究内容

在具有高NA(1.2)物镜的单分子荧光显微镜的系统中，荧光偶极子分子的点分布函数(point spread function/PSF)是一个复杂的物理过程。本文根据公式1的Wolf和Richards理论[35]，模拟出在高NA(1.2)物镜，焦距170微米的情况下，荧光偶极子分子在成像空间中电场振幅的PSF数据。在这个物理模型中，本文假设物镜具有完美的成像特性。所研究的高NA成像系统下的荧光偶极子点分数函数计算的物理模型如图1(a)所示，在物镜的物体空间中，$p$ 就是偶极子向量，它被放置在物镜的焦点处，Ψ与$\eta$ 分别代表了偶极子的方位角和极角。在成像空间中，共聚焦光圈精确地定位在像平面上。

$E={\displaystyle {\int }_0^{{{\eta }^{\prime }}_{\max }}\text{d}{\eta }^{\prime }\sin {\eta }^{\prime }}{\displaystyle {\int }_0^{2\pi }\text{d}\psi }\sqrt{\frac{\cos {\eta }^{\prime }}{\cos \eta }}\left[{{\widehat{e}}^{\prime }}_{\perp }\left(p{\widehat{e}}_{\perp }\right)+{\widehat{e}}_{|}\left(p{\widehat{e}}_{|}\right)\right]\left[\exp \left(ikR\right)/R\right]\exp \left(i{k}^{\prime }{\widehat{s}}^{\prime }{r}^{\prime }\right)$ (1)

其中${\eta }^{\prime }$ 和$\eta$ 的关系，是由物镜的放大倍数M = 10有关，$\tan \eta =M\tan {\eta }^{\prime }$ 。${\eta }^{\prime }$ 的最大值与NA和反射系数n=1.33决定，为公式2。k和k'是物体空间与成像空间中的光波数。R = 1是偶极子发射极到物体空间焦点的参考球上点的距离，$r^{\prime }$ 为目标点在图像空间中的位置，在此位置计算电场振幅。单位矢量则通过极角与方位角定义得出，公式为(3)~(6)。

${{\eta }^{\prime }}_{\max }=\arctan \left(\frac{NA}{M\sqrt{n^2-N{A}^2}}\right)$ (2)

${\widehat{e}}_{\perp }=\left(\cos \psi \cos \eta ,\sin \psi \cos \eta ,-\sin \eta \right)$ (3)

${\widehat{e}}_{|}=\left(-\sin \psi ,\cos \psi ,0\right)$ (4)

${{\widehat{e}}^{\prime }}_{\perp }=\left(\cos \psi \cos {\eta }^{\prime },\sin \psi \cos {\eta }^{\prime },\sin {\eta }^{\prime }\right)$ (5)

${\widehat{s}}^{\prime }=\left(-\sin {\eta }^{\prime }\cos \psi ,-\sin {\eta }^{\prime }\sin \psi ,\cos {\eta }^{\prime }\right)$ (6)

根据Wolf和Richards理论计算出的荧光偶极子分子PSF随着方位角和极角变变化的示意图如图1(b)所示，横轴显示了固定方位角后，极角从0到90度后图案的改变。纵轴显示了在固定极角的情况下，方位角从0度到180度的图案变化。以步长5度将不同极角和方位角组合所生成的图案作为训练与测试的数据集。训练集使用了6600张图案，测试集使用了443张。过程中发现角度过小的极角，所生成的图案类似，所以在测试集中删除圆环形状的预测图案，使得极角只在20到90度范围。通过研究构建了两种神经网络，一个是拥有局部特征提取能力的卷积神经网络，另一个是通过多层感知器[36]与非线性函数组合的全连接网络。实验发现使用卷积神经网络相比于全连接网络，可以产生更好的定位结果，更快的推理时间和更少的参数量，并且卷积神经网络对于噪声的扰动有更好的鲁棒性。将带有不同比例高斯噪声的输入图片经过训练好的网络后，经过网络前向传播进行推理，可以得到描述偶极子的两个角度的值，利用人工神经网络直接预测荧光偶极子的点分布函数的概念图见图1(c)所示。

Figure 1. (a) A physical model for calculating the PSF of fluorescent dipoles in high NA imaging systems; (b) A schematic diagram of the molecular PSF of dipoles with azimuth and pole angles calculated based on Wolf and Richards theory; (c) Based on the point distribution function of fluorescent dipoles, the spatial orientation of fluorescent dipoles is directly predicted by artificial neural network

图1. (a) 高NA成像系统下的荧光偶极子的点分数函数计算的物理模型；(b) 根据Wolf和Richards理论计算出的偶荧光偶极子分子点分布函数随着方位角和极角变变化的示意图；(c) 根据荧光偶极子的点分布函数利用人工神经网络直接预测荧光偶极子的空间取向的概念图

3. 人工神经网络构成

3.1. 多层感知器网络(MLP)

感知器是一种基本的人工神经元模型，最早由美国心理学家弗兰克·罗森布拉特于1957年提出[37]。感知器模型是神经网络领域的一个重要起点，它是一个二分类的线性分类模型，输入为实例的特征向量，输出是+1或−1的一个类别，感知机在特征空间中，将实例划分为正负两类的分离超平面，属于判别模型[35]。多层感知器是感知器的扩展和改进，它引入了一个或多个称为隐藏层的层次结构。每个隐藏层包含多个神经元，并且每个神经元与前一层的所有神经元相连。这种多层结构增加了神经网络的表示能力，使其能够学习和处理更加复杂的非线性关系。

MLP网络的设计是通过几个全连接层叠加组成，本文直接将输入图片变成一维向量后经过两次全连接层。在第一个全连接层后加入ReLU层作为非线性激活函数，通过逐层减少维度，从而最后输出两个角度的预测结果，网络结构见图2(a)所示。

Figure 2. Network Architectures for Angle Prediction by CNN and MLP. (a) Network Structure of CNN; (b) Network Structure of MLP

图2. CNN与MLP进行角度预测的网络结构。(a) CNN的网络结构；(b) MLP的网络结构

3.2. 卷积神经网络(CNN)

Alex Krizhevsky等人在2012年提出了AlexNet [38]，这是一个深度卷积神经网络，使用了更深的网络结构和大规模的标注图像集进行训练。AlexNet的成功在图像分类竞赛中取得了突破性的成果，推动了深度学习的兴起也推动了CNN网络的流行。本文设计的CNN的网络结构见图2(b)所示，图片左侧为输入带有噪声的PSF图片，右侧就是两个角度值的预测，输入图片是21 × 21的小尺寸灰度PSF图，灰色的立柱为卷积块，每一个卷积块包括一个卷积层、一个BN(Batch Normalization)层、一个ReLU作为激活函数。卷积核是图中绿色的立方体，尺寸是3×3，步长为1，因为荧光偶极子分子输入图片的信息集中在图片中央，边缘不含有用特征，所以不需要保留图像的边缘信息。因为增加周围填充0像素的尺寸会增加运算成本[39]，所以在设计时避免了该操作。BN层对数据做了归一化之后，将数据变成均值为0，方差为1的标准正态分布，提高模型的泛化能力。考虑到网络需要轻量和高表示能力，ReLU可以加速网络的收敛速度，并且实现了神经元的稀疏性，使得网络的表示能力更加强大。MaxPooling的窗口大小为2 × 2从而进行下采样操作，最后一个卷积块的输出变成一维向量后经过两次全连接层后输出两个预测结果。

3.3. 选择超参数

通过对比两个模型，计算模型预测结果与标签的均方误差MSE。首先本文使用了网格超参数选择法选择各个模型合适的超参数，学习率有0.01和0.001两种，优化器有SGD (stochastic gradient descent) [40]，Adam [41]，RMS (root mean square prop)三种。分别为两个模型使用了不同的优化器与学习率，并且设计在训练过程中的第50, 100, 200 epoch时，学习率下降10倍。通过实验发现CNN网络的学习率在0.001有更好的损失结果，见图3(b)所示，Adam与RMS结果相近，而SGD在最终都无法收敛变小，最终使用RMS和0.001的学习率后，MSE可以达到0.42 × 10⁻⁴。

MLP也是测试了同样几组参数，见图3(a)所示，损失函数MSE越趋向于0，效果越好。通过实验可以发现Adam优化器在最后的损失结果会比RMS相近，但是RMS在初期收敛速度会慢，而SGD在初期0~50个epoch收敛后就进入了震荡的状态。所以最后是使用Adam和0.001的学习率。

Figure 3. Descent trends of MLP and CNN. (a) Descent trend of MLP; (b) Descent trend of CNN

图3. MLP与CNN下降趋势。(a) MLP的下降趋势；(b) CNN的下降趋势

3.4. 网络参数比较

见表1所示，本文通过使用三种指标将设计好的两个模型进行比较。第一个是推理时间，他决定了模型进行一次前向传播所需要的耗时；第二个是模型参数量，他代表了整个模型可学习参数的个数，参数量越大说明模型越大，MLP的参数计算公式为7，其中$N_{in}$ 和$N_{out}$ 分别是输入和输出的长度，CNN的计算公式为9，其中$C_{in}$ 和$C_{out}$ 分别是输入和输出的通道数量，$k_H$ 和$k_W$ 分别是卷积核的尺寸；最后一个FLOPs是浮点运算数这是计算模型的乘加运算个数，作为模型的计算量，MLP的FLOPs计算公式为8，CNN在没有偏置情况下，计算公式为10，其中$H_{out}$ 和$W_{out}$ 是输出特征图的尺寸。

在运算中发现CNN的计算代价较高，需要大量的计算资源CNN需要的FLOPs为0.465 M。而MLP是0.108 M。因为CNN依靠卷积核可以使得卷积层的参数量比全连接层低，所以总体的CNN的参数量是0.023 M，而MLP是0.0542 M。并且在推理时间上CNN也比MLP更有优势，单张图片的推理速度CNN只需要8.28 ms，而MLP需要12.88 ms。

$\text{params}=\left(N_{in}+1\right)\cdot N_{out}$ (7)

$\text{FLOPs}=2N_{in}\cdot N_{out}$ (8)

$\text{params}=\left(k_H\cdot k_W\cdot C_{in}+1\right)\cdot C_{out}$ (9)

$\text{FLOPs}=\left(2\cdot k_H\cdot k_W\cdot C_{in}-1\right)\cdot C_{out}\cdot H_{out}\cdot W_{out}$ (10)

Table 1. Performance and parameter comparison of two networks

表1. 两个网络的性能与参数比较

	推理时间/ms	参数量/M	FLOPs/M
CNN	8.28	0.023	0.47
MLP	12.88	0.054	0.11

4. 预测结果

4.1. 方位角和极角的拟合结果

为两个模型都使用了最优的超参数，将预测的方位角和极角结果与标签进行比较，画出的散点图见图4(a)与图4(b)所示，展示了不同噪声比例下，MLP和CNN网络对于荧光偶极子分子空间取向的均方差(mean square error/MSE)。图中绿色散点代表的是CNN预测的结果与标签结果的差值而红色散点是MLP预测的结果与标签结果的差值，横坐标是不同的预测角度，纵坐标在该角度下，预测角度与标签角度的差值，中间的红线作为差值为0，越靠近中间的红线，说明预测效果越好。每一行分别是给输入数据增加的噪声的不同比例，分别有0%，10%，20%和50%的噪声，随着噪声变大，预测难度也上升，散点更偏离基准红线。见图4(a)所示，两个网络在预测极角时，随着极角的角度变大，散点离红线变得更远，代表着预测的能力也逐渐减弱，但MLP将会有更大的预测误差。因为在同一个方位角下，改变极角大小会对图像形状特征会有明显改变，使得网络可以获取更多特征，从而更精准预测。而在同一个极角下，改变方位角度的大小并不能给图像带来与极角一样明显的特征变换，所以见图4(b)中可以发现，整体上，方位角的预测会比极角更有难度，较大和较小的角度都离红线偏离较大距离，所以在预测0度和180度附近的方位角时，会有更多误差，原因是较小和较大的极角角度下，方位角的图片会变得非常近似，预测难度变得更大。但在预测方位角时MLP出现明显的预测误差，而CNN还能有较好的预测能力。

Figure 4. The predicted results of polar angle and azimuth angle in the two networks. (a) Predicted results of polar angle; (b) Predicted results of azimuth angle

图4. 极角与方位角在两个网络下的预测效果，绿点是CNN预测与结果的差值，红点是MLP预测与结果的差值。(a) 极角的预测结果；(b) 方位角的预测结果

4.2. 整体拟合结果

通过给训练数据和测试数据增加0%，10%，20%和50%的随机高斯噪声进行训练来验证模型两个角度的整体拟合能力。测试结果见表2所示，最后使用准确率作为整体拟合能力的判断的指标，准确率越高，拟合能力越强，从表格可见，随着噪音的影响变大，MLP的拟合能力开始显著下降，因为对于高维稠密数据，MLP容易出现过拟合，处理图像数据的能力不如CNN，不能很好的捕捉到局部关系。而CNN还能从噪音中获取图片的特征，由此可见CNN具有更强的鲁棒性。本文对神经网络的训练是在1080ti型号的GPU的电脑上完成的。

计算结果表明，MLP和CNN在预测荧光偶极子分子的空间取向中，具有相似的预测能力。对于荧光偶极子分子的极角和方位角的预测差值的平均度数在见表2，其中单位为度，将预测的极角和方位角与已知的标签参数进行比较，计算出实际预测准确的个数从而计算准确率见表3。

Table 2. Predicted difference of polar Angle and azimuth Angle between two networks under different noise

表2. 两个网络在不同噪声下的极角与方位角预测差值

	0%噪音	10%噪音	20%噪音	50%噪音
CNN极角精确度(˚)	0	0.97	1.38	2.37
MLP极角精确度(˚)	0.54	1.12	1.64	3.88
CNN方位角精确度(˚)	0.91	2.74	3.97	7.07
MLP方位角精确度(˚)	2.86	5.02	6.38	13.39

Table 3. Prediction accuracy of two networks under different noise

表3. 两个网络在不同噪声下的预测准确率

	0%噪音	10%噪音	20%噪音	50%噪音
CNN	97.3%	86.9%	83.4%	71.4%
MLP	88.8%	81.8%	75.6%	54.6%

在训练好人工神经网络之后，将未经训练的荧光偶极子点分布函数图片(极角是60度，方位角是125度)，带入卷积神经网络中进行推理，并模拟在不同程度的噪声环境下(10%，20%，50%的噪声)，预测该图片的极角和方位角。预测结果如图5所示。本文的研究发现，卷积神经网络不仅能根据荧光偶极子点分布函数图象，高精度的预测荧光偶极子分子的空间取向，还能在8.28 ms推理时间内，完成对所输入的具有不同噪声的荧光偶极子点分布函数进行去噪操作。而且，在不同噪声下的极角的预测误差分别是0˚，0.97˚，1.38˚，2.37˚，方位角误差分别是0.91˚，2.74˚，3.97˚，7.07˚。

5. 讨论与展望

针对荧光偶极子分子单分子成像技术，本文设计出一种可以快速准确预测偶极子方位角和极角的神经网络模型，解决了传统方法在运算速度，应用受限以及设备复杂的问题。本文首先根据Wolf和Richards的理论模拟出高NA情况下的荧光偶极子分子的PSF的物理模型，从而获取本文训练和测试的数据集。随后使用最优的超参数对网络进行训练优化。通过MSE进行模型的优化损失函数，最终获取最优模型。通过对比发现，CNN对于图像数据具有较强的特征提取能力，可以捕捉到图像局部空间关系，可以在卷积层和池化层中使用少量参数，从而可以减少了过拟合风险。而MLP具有较强的表示能力，能够处理任意维度的

Figure 5. Reasoning results of CNN model under different noises

图5. CNN模型在不同噪声下的推理结果

数据，架构简单，容易实现。考虑到PSF的图片尺寸小特征少，所以在设计的时候尽量减少模型大小并且提高模型的泛化能力，通过预测结果的准确率可以看出，随着噪音逐渐变大，MLP下降了34.2%的准确率。本文可以认为在提高更多比例的高斯随机噪音下，CNN依旧能保持足够的预测精度而MLP则只能在数据集没有噪音或者小噪声的情况下才能有足够的精度。本文发现两个模型在预测大角度极角的时候更困难并且随着角度变小而降低，而方位角的预测在最大和最小角度的时候最困难，在中间角度的预测精度更高。研究显示，深度学习方法对比与传统的相比于MLP，CNN不仅对荧光偶极子空间取向具有更高的准确率，在没有噪声的情况下达到97.3%，即使有50%噪声也可以有71.4%的准确率，其运行速度也比MLP快4.6 ms，参数量也少0.031 M，都具有较明显的优势。而且，CNN在模拟的高噪声预测中有更强的鲁棒性，可以作为之后研究该领域问题的首选模型。本文的研究为卷积神经网络在快速准确的单分子荧光成像中的应用奠定了基础。

基金项目

项目资助：科技部重点研发项目(Grant No. 2021YFB2802000 and Grant No. 2022YFB2804301)；

国家自然科学基金青年项目：62205208；

中国博士后面上项目：2022M712138；上海市超级博士后激励计划。

NOTES

^*通讯作者。