可变光学环境下衍射神经网络的仿真模型研究

Research on Simulation Model of Diffractive Neural Network in Variable Optical Environments

摘要: 光学衍射神经网络(optical diffractive neural network, ODNN)已被证明可以很好地完成机器学习的推理任务。然而目前大部分ODNN的研究主要集中在大气环境下，其他空间环境下的ODNN性能讨论甚少。本文基于瑞利–索末菲衍射理论，研究分析了不同光学环境下ODNN的训练及测试效果。在532 nm的可见光工作波段下，光学衍射神经网络分别在空气和水环境中训练，在其能准确执行推理能力的情况下，将网络模型在仿真阶段置于新的空间环境测试，研究网络性能的变化趋势，分析ODNN对的测试环境适应性。本文仿真结果表明，光学衍射神经网络对测试环境的变化响应敏感，网络的推理能力随着测试环境与训练条件的偏差增大而下降，直至消失。以此为切入点，为光学衍射神经网络增加一个额外的自由度，有望在ODNN的多任务等方面提供新的研究方向。

Abstract: The optical diffractive neural network (ODNN) has been demonstrated to perform well in machine learning inference tasks. However, most of the current research on ODNN is focused on atmospheric environments, with limited discussion on its performance in other spatial environments. This paper investigates and analyzes the training and testing effects of ODNN in different optical environments based on the Rayleigh-Sommerfeld diffraction theory. ODNN models are trained in both air and water environments at the visible light wavelength of 532 nm. After demonstrating their accurate inference capability, the network models are tested in new spatial environments during simulation to study the trends in network performance and analyze the adaptability of ODNN to testing environments. The simulation results indicate that ODNN is sensitive to changes in the testing environment, and the inference capability of the network decreases as the deviation between the testing environment and training conditions increases, eventually disappearing. This observation provides a starting point to introduce an additional degree of freedom to ODNN, which may offer new research directions in areas such as multi-tasking.

1. 引言

传统人工智能使用电子进行计算，但在信号处理速度和能耗方面会受到基于冯–诺依曼系统的计算硬件的限制。因此，使用光子代替电子进行计算的光学计算变得尤为重要 [1] 。光学衍射神经网络ODNN [2] 是光学与深度学习相结合的最新产物，它已被证明是光学训练网络的有效实现方式，具有光速传输、低功耗和高并行处理能力等优点。它利用光与物质之间的相互作用，将光的衍射传播和波前调制分别模拟为神经元连接和神经网络的加权线性求和，从而实现光学人工智能的功能。ODNN的物理实验已有报道，开发ODNN 扩展功能的研究也已发表，如成像 [3] 、光逻辑门操作 [4] [5] 、图像重建 [6] 、光谱成像 [7] 、双向聚焦透镜 [8] 、复用和解复用 [9] [10] 、全息 [11] 等。

目前主要的ODNN研究大多集中在长波长(太赫兹和千兆赫等)、大尺寸和静态执行单一任务等方向。在光子信息处理领域，需要特别关注近红外、可见光等短波长 [12] 的处理，而短波长对于ODNN来说也意味着体积小，这对于满足其结构小型化以实现器件集成起着至关重要的作用。同时，当这种器件集成的结构可调时，它可用作ODNN的下一阶段，即可重构ODNN。目前研究的主要方法是改变衍射层的结构来实现ODNN的可重构性，如可编程元表面 [13] 、磁光材料 [14] 等。另一个研究方向是考虑通过改变光学环境 [15] 来重构ODNN上的相位调制。例如，基于液晶的可重构元表面可以通过改变加载液晶单元的微带贴片上的直流电压来调整有效介电常数 [15] [16] [17] ，从而调整元表面上不同位置的相位差

考虑到ODNN原理，光学环境的变化会对衍射传输和波前调制产生影响。然而，目前几乎所有关于ODNN的研究主要集中在大气环境，在其他光学环境的研究甚少。本文将532 nm的可见光工作波段下围绕光学测试环境研究ODNN性能的影响。在某一环境下训练得到的衍射相位板置于新的光学环境中，ODNN的性能会随着测试环境与训练环境的折射率偏差而变化。以此为切入点，有望为通过切换ODNN的光学环境进而切换执行任务的可重构多任务ODNN提供了一种新的可能性。

2. ODNN模型建立

衍射神经网络是一种隐藏层由衍射表面物理组成的人工光学神经网络，如图1所示，衍射表面上的每个像素单元可以视为一个神经元。根据惠更斯–菲涅尔原理，每个神经元可视作为波的二次元，各层之间的神经元通过二次波以光学衍射的方式进行连接，通过以下式子表示：

$w_i^l\left(x,y,z\right)=\frac{z}{r^2}\left(\frac{1}{2\pi nr}+\frac{1}{j\lambda }\right)\exp \left(\frac{j2\pi nr}{\lambda }\right)$ (1)

其中z是相邻两层之间的距离， $r=\sqrt{{\left(x-x_i\right)}^2+{\left(y-y_i\right)}^2+z^2}$ ，λ为照明光源的波长，n为环境的折射率。那么，第l层上位于 $\left(x_i,y_i,z_i\right)$ 处的第i个神经元的输出可表示为：

$n_i^l\left(x,y,z\right)=w_i^l\left(x,y,z\right)t_i^l\left(x_i,y_i,z_i\right){\displaystyle {\sum }_k{n}_k^{l-1}\left(x_i,y_i,z_i\right)}$ (2)

其中 $t_i^l\left(x_i,y_i,z_i\right)={\alpha }_i^l\left(x_i,y_i,z_i\right)\exp \left(j{\varphi }_i^l\left(x_i,y_i,z_i\right)\right)$ 为神经元的复数透射系数， ${\alpha }_i^l\left(x_i,y_i,z_i\right)$ 表示振幅系数， ${\varphi }_i^l\left(x_i,y_i,z_i\right)$ 表示相位系数，对于纯相位ODNN的架构， ${\alpha }_i^l\left(x_i,y_i,z_i\right)$ 设置为常数(理想情况下为1)。 $k$ 为第 $l-1$ 层上神经元的数量，那么 ${\displaystyle {\sum }_k{n}_k^{l-1}\left(x_i,y_i,z_i\right)}$ 则表示了每个神经元的输入波由上一层的所有神经元的二次波叠加而成，以达到神经网络的全连接结构。

Figure 1. The structural diagram of the optical diffractive neural network in an optical environment

图1. 光学衍射神经网络在光学环境下的结构图

通过光学衍射，上一层的输出光可以作为下一层的输入光进行传输。衍射层对光进行调制，然后向前传播并输出。假设存在M个衍射层，则输出平面的光强分布如下：

$I_{M+1}={\left|U_{M+1}\right|}^2$ (3)

深度学习任务可根据输出光强分布执行。在手写数字分类任务中，输出平面上将有十个不重叠的检测区域，并检测十个检测区域中每个区域的光信号强度。每个检测区域对应一个数字，分类标准是在十个检测区域中找出光信号强度最大的区域。前向传播输出平面的预测结果与衍射网络的训练目标进行比较，产生的误差反向传播到各层，并通过随机梯度下降法迭代更新网络各层的参数。在输出层之前使用softmax函数来显示光强度最高的区域，这一设置只是用来增加训练中的梯度移动，并不影响训练强度。这里使用了交叉熵作为损失函数，可以显著提高手写数字分类的准确性。交叉熵函数定义为：

$H\left(p,q\right)=-\underset{l}{\overset{k}{{\displaystyle \sum }}}{p}_i^l\left(x\right)\log q_i^l\left(x\right)$ (4)

其中 $p_i^l\left(x\right)=\frac{e^x}{{{\displaystyle \sum }}_k{e}^x}$ 是网络softmax层的输出， $q_i^l\left(x\right)$ 是真实值。将来自MNIST数据集(60,000张训练图

像和10,000张测试图像)作为输入，并针对数字分类任务训练网络，将相位调制限制在(0, 2π)范围内。

在这里，我们考虑了空间环境对网络模型性能的影响，不同的环境主要改变的是空间的折射率，而空间折射率的变换主要影响光学衍射神经网络的两个方面。首先是层与层之间的衍射传输，根据公式(1)了解得到折射率对衍射的影响。其次是衍射层的相位调制变化，在经训练得到的衍射相位板置于新的测试环境后，其对入射光调制的相位发生变化，具体表现为在某一空间环境 $n_1$ 下训练后得到的相位板 ${\varphi }_1$ 置于新的环境下 $n_2$ 后，其相位调制的参数将变化为：

${\varphi }_2=\frac{n_m-n_2}{n_m-n_1}{\varphi }_1$ (5)

其中 $n_m$ 是神经元制作材料的折射率。在层间衍射和相位调制变化的情况下，光学衍射神经网络的性能也将随之变化。

3. ODNN仿真结果

本文首先分析光学衍射神经网络中层数与神经元密度对性能的影响，从而选取合适的网络参数进行进一步的研究。以手写数字分类任务作为光学衍射神经网络的推理任务，常用的手写数字数据集是由美国国家标准与技术研究院(MNIST)的60,000个训练集和10,000个测试集组成的，作为衍射神经网络的训练数据，然后通过误差反向传播和随机梯度下降算法更新网络参数，经过20次历时迭代后输出数值分类精度。首先设置衍射神经网络每层包含100 × 100个神经元，衍射神经元的特征尺寸为1.6 μm，各层之间的衍射传输距离为400 μm，在λ~532 nm可见光的工作波段下，网络层数的变化引起的网络数值分类精度变化如图2(a)所示，1~5层的数值分类精度分别为94.19%、94.86%、94.81%、94.91%以及94.74%，随着层数的增加，网络的性能也将提升，证明其深度的优势，而当进一步增加层数后，网络的性能趋于饱和，数值分类精度仅小幅度波动，仅一层网络也能得到94.19%的高数值分类精度。而后以一层网络为例，分析不同神经元密度下网络数值分类精度变化，如图2(b)所示，在衍射层包含100 × 100神经元时性能最佳。因此本文主要设计的是一层包含100 × 100神经元的衍射神经网络。

首先，在空气环境中将衍射神经网络针对二分类任务和十分类任务进行训练，分析任务复杂度对衍射神经网络的影响，同时设计不同网络层数(一层、两层和五层)分析。训练结果如图3所示，图3(a)和图3(e)分别为一层衍射神经网络训练二分类任务和十分类任务得到的衍射相位板，向衍射神经网络输入编码手写数字“0”的入射光后，在设定的检测区域获得了二分类任务和十分类任务的光强信号占比，图3(b)和图3(e)分别为二分类任务和十分类任务的输出光场分布，红色框线代表着分类标签的探测区域，数字0对应的探测区域的光强信号明显高于其他区域，各探测区域的能量占比柱状图见图3(c)和图3(g)，这意味着对衍射神经网络对输入识别正确。同时随着网络层数的增加，二分类任务保持100%的数值分类精度和高的能量占比，十分类任务的分类精度和能量占比小幅度增加，如表1所示。这证明在单层衍射结构中，衍射训练的性能也是合格的。而且在水环境下的训练结果能得到类似的结果，二分类任务仍然有100%的分类精度，而十分类任务也有着85.77%的分类精度，比空气环境下的模型略低，这可能是由于光在水环境散射导致。

Table 1. ODNN test in free space with different layers

表1. 自由空间中不同层数的ODNN测试

Figure 2. The variation in numerical classification accuracy of the network under different parameters. (a) Layer number, (b) Diffractive neuronal arrays

图2. 不同参数下网络数值分类精度变化，(a) 层数，(b) 衍射神经元阵列数

Figure 3. Binary classification tasks (a) diffractive phase plates, (b) output intensity, (c) energy proportion in air environment testing, (d) energy proportion in aqueous environment testing, (e)~(h) ten classification tasks

图3. 二分类任务 (a) 衍射相位板，(b) 输出光场分布，(c) 空气环境测试时能量占比，(d) 水环境下测试能量占比，(e)~(h) 十分类任务

接下来以一层衍射神经网络为例，将在空气中训练模型置于水环境下测试。在两个环境的折射率差Δn~0.33条件下，衍射神经网络的衍射层调制的相位也随之变化。当将编码了同一个手写数字“0”的入射光输入后，无论是二分类网络还是十分类网络，各个探测区域内的能量占比均十分接近，如图3(d)和图3(h)所示，数字0对应的探测区域能量占比分别从96.92%降至41.28%，从41.32%降至7.652%，同时二分类任务的分类精度下降至61.65%，十分类任务的分类精度下降至10.78%。而在水环境中训练的模型置于空气环境下测试时，二分类任务的数值分类精度从100%下降至59.86%，十分类任务的数值分类精度下降至7.89%。这些充分证明了证明了当测试环境与训练条件不匹配时，光学衍射神经网络的会丧失原本的推理能力。

Figure 4. Binary classification network model tested in refractive index n = 1~1.8 environment (a) train in air, (b) train in aqueous; ten classification network model tested in refractive index n = 1~1.8 environment (c) train in air, (d) train in aqueous

图4. 二分类网络模型在折射率n = 1~1.8的环境测试 (a) 空气中训练，(b) 水环境中训练；十分类网络模型在折射率n = 1~1.8的环境测试 (c) 空气中训练，(d) 水环境中训练

为了进一步研究光学衍射神经网络对测试环境的适应性，本文以空气和水环境为例，各自训练了二分类任务网络和十分类任务网络，而后将其置于折射率n = 1~1.8的环境中测试性能的变化。如图4所示，图4(a)和图4(b)为二分类任务网络分别于空气和水环境下训练的模型在不同测试环境下的结果，图4(c)和图4(d)则为十分类任务网络分别于空气和水环境下训练的模型在不同测试环境下的结果。通过分析可得，当各个网络模型的在训练条件下进行测试时，可以获得最佳的数值分类精度，而随着测试环境折射率与训练环境折射率的偏差逐渐增大，整个网络模型的推理性能也将逐渐下降直至消失。当光学衍射神经网络执行的任务从二分类至十分类(即任务复杂度提升)时，网络对测试环境的适应性随之下降，可从网络推理性能有效的测试环境范围得到。对于二分类任务网络在空气中训练的模型，当其数值分类精度下降至70%以下后，可视为网络的性能不合格，此时测试环境的折射率的偏差范围Δn~0.28，而对于十分类任务网络，其数值分类精度下降至50%以下后才视为网络的性能不合格，此时测试环境的折射率的偏差范围Δn~0.2。同时，在高折射率环境下训练的网络模型对测试环境的变化更加敏感，其推理性能的有效测试环境范围更小，如在水环境下训练的二分类任务和十分类任务网络的有效测试环境折射率的偏差分别为Δn~0.2和Δn~0.1。需要注意的是，需要考虑到实验中衍射层的制作材料，本文以折射率n_m = 1.55的光刻胶作为样品制作材料，当光学衍射神经网络的测试环境折射率与衍射层材料一致时，无论训练条件如何，网络均会丧失其推理性能，可以从公式(5)中以n_m = n₂时的相移减少解释。另一方面，光学衍射神经网络的有效测试环境范围随着网络层数的增加而缩小，例如当网络层数由一层增加至五层时，有效测试环境折射率的偏差由Δn~0.1缩小至Δn~0.04，这是由于网络复杂度的增加，多层的衍射调制受到光学环境的影响更多，从而使光学衍射神经网络对环境的响应更加剧烈。

总之，光学衍射神经网络的测试环境对其推理性能的影响随着网络复杂度的提升而增大，这能为ODNN提供一个新的自由度。通过在训练阶段考虑到光学环境的影响，可以使光学衍射神经网络在对应任意环境下得到满意的推理能力，有望为光学衍射神经网络可重构性提供新的研究思路。

4. 总结与展望

本文基于瑞利–索末菲衍射理论建立光学衍射神经网络，在空气和水环境下针对二分类任务和十分类任务训练的模型准确的执行推理任务，再将模型置于不同折射率环境下测试其性能变化。网络的推理能力随着测试环境与训练环境的偏差而下降，仅在一个偏差范围内保持合格的推理性能。同时研究分析得出在推理任务和网络的复杂程度提升的情况下，网络对测试环境的响应度更高。

由于光学衍射神经网络对测试环境的响应，可为光学衍射神经网络增添一个额外的自由度，未来可从此角度出发发展多任务光学衍射神经网络。同时本文研究对光学衍射神经网络在其他领域(如生物医学等)中进行图像检测应用十分重要，根据这一特性未来有望在溶液浓度检测等方面拓展光学衍射神经网络的功能。

NOTES

^*通讯作者。