基于能量场的海马定位与导航模型研究

Research on Hippocampal Positioning and Navigation Model Based on Energy Fields

摘要: 海马体的位置细胞是大脑内部的空间定位系统的重要一环，为动物提供外部环境的认知地图。为实现认知地图构建及智能导航，本研究在Reduced Traub-Miles (RTM)模型的基础上，提出了一种基于神经能量编码的海马体位置细胞神经网络模型，基于位置细胞群的发放功率构建能量场，利用能量场梯度解决定位和导航任务。研究表明，模型能够有效地构建并更新认知地图，实现寻路任务，验证了位置细胞和突触在空间记忆中的重要性，证明了能量编码对认知活动的研究是有效的，为了解空间记忆的神经动力学机制提供了理论依据。

Abstract: The place cells in the hippocampus constitute a vital component of the brain’s internal spatial positioning system, engaging in the construction of cognitive maps of the external environment for animals. This study introduces a place cell neural network model based on the Reduced Traub-Miles (RTM) model, employing a neural energy coding approach. It quantitatively describes the attenuation pattern of place cell cluster firing power, constructing an energy field model. The model utilizes energy field gradients to resolve positioning and navigation tasks. The result shows that the model can effectively construct and update the cognitive map to realize the way finding task. It verifies the importance of place cells and synapses in spatial memory, proves that energy coding is effective for the study of cognitive activities, and provides a theoretical basis for understanding the neurodynamic mechanism of spatial memory.

1. 引言

空间认知能力能够帮助动物理解环境和利用环境，这意味着可以有效分析出环境的构成，利用相关信息完成导航的工作。美国行为心理学家Tolman提出的认知地图概念可以用来解决环境中的导航问题[1]。他提出当老鼠在环境中运动时，可以在大脑中形成一个认知地图来表征周围环境的变化，从而解决空间定位问题。认知地图的基础是位置细胞，由O’Keefe和Dostrovsky用电生理学的方法在大脑海马体中发现[2]。他们发现老鼠出现在特定位置时，位置细胞就会放电[3]，即对于某一个固定的空间环境，每个位置细胞都有其固定的空间位置反应野。当老鼠经过该位置野时，对应位置细胞的放电频率会急剧增加，而在位置野以外的其他地方，放电频率则很低。位置细胞可以实时编码老鼠在环境中的位置信息，从而在老鼠大脑内部产生一个对其所在空间环境的拓扑表达，提供了以非自我为中心的认知地图[4]。这说明海马中的位置细胞是老鼠对其周围环境进行表征的关键，可以有效编码物理空间信息[5]，通过路径整合寻找物理空间中的捷径，并且快速地迁移到新场景，让其可以灵活适应环境[6] [7] [8]。之后Muller等人提出，同时发放的位置细胞可以形成一个网络，使位置细胞之间可以形成突触连接[9] [10]。研究表明，认知地图在海马体中是由两个独立的地图表示的。第一个是方位图，它通过自我运动的线索和梯度线索来表示环境。第二张地图是根据位置线索绘制的草图，包括了特定的物体、地标以及它们的相对位置。完整的认知地图是由这两个独立的地图整合而成[11]。

近年来，关于神经编码和认知地图的研究有很多成果[12]。其中，能量编码引起了研究者们越来越多的关注。认知过程的能量编码是在Wang等人的一系列研究引入并发展起来的[13]，这些研究的核心论点是可以从神经元活动的能量特征出发来研究脑功能的全局神经编码问题。本文基于能量编码的简洁性和全局性等优点，考虑不同位置下位置细胞的能量消耗不同，通过能量编码方法构建可以表示空间位置分布的位置细胞模型，利用位置细胞集群的发放功率构建了神经能量场，基于能量场模拟了大鼠具体的路径探索以及导航过程，实验结果表明随着实验次数的增加，大鼠通过不断地学习，能够更高效地找到目标。

2. 模型和方法

2.1. 神经元电学模型

位置细胞是一种对空间位置具有选择性的放电细胞，只有当大鼠处于空间中特定位置时，该细胞才会发生放电活动[14]。本文采用Reduced Traub-Miles (RTM)模型[15]表示位置细胞，如下微分方程所示：

$C\frac{\text{d}V}{\text{d}t}=-g_{Na}{m}^{3}h\left(V-E_{Na}\right)-g_k{n}^4\left(V-E_k\right)-g_L\left(V-E_L\right)+I_{place}$ (1)

$\frac{\text{d}m}{\text{d}t}={\alpha }_m\left(V\right)\left(1-m\right)-{\beta }_m\left(V\right)m$ (2)

$\frac{\text{d}n}{\text{d}t}={\alpha }_n\left(V\right)\left(1-n\right)-{\beta }_n\left(V\right)n$ (3)

$\frac{\text{d}h}{\text{d}t}={\alpha }_h\left(V\right)\left(1-h\right)-{\beta }_h\left(V\right)h$ (4)

其中V表示神经元的膜电位，单位为mV，C表示膜电容，单位为μF/cm²。$I_{place}$ 是特定位置下的刺激电流，单位为μA。$g_{Na}$ 、$g_k$ 和$g_L$ 分别表示各离子通道电导的最大值。m、n和h是无量纲变量，表示钾离子和钠离子通道的门控变量。$E_{Na}$ 、$E_k$ 和$E_L$ 是神经元在静息状态下各离子通道的反转电势，也称为Nernst电势。公式(5)~(10)是离子通道开启和关闭的速率函数，这些函数可以描述开放通道的比例随时间的变化。

${\alpha }_m\left(V\right)=\frac{0.32\left(V+54\right)}{1-{\text{e}}^{-\left(V+54\right)/4}}$ (5)

${\beta }_m\left(V\right)=\frac{0.28\left(V+27\right)}{{\text{e}}^{\left(V+27\right)/5}-1}$ (6)

${\alpha }_n\left(V\right)=\frac{0.032\left(V+52\right)}{1-{\text{e}}^{-\left(V+52\right)/5}}$ (7)

${\beta }_n\left(V\right)=0.5{\text{e}}^{-\left(V+57\right)/40}$ (8)

${\alpha }_h\left(V\right)=0.128{\text{e}}^{-\left(V+50\right)/18}$ (9)

${\beta }_h\left(V\right)=\frac{4}{1+{\text{e}}^{-\left(V+27\right)/5}}$ (10)

RTM模型中的相关参数值见表1。

Table 1. Parameter settings in the RTM model

表1. RTM模型中相关参数值

参数	意义	值	参数	意义	值
C	膜电容	1 F/cm^2	gNa	Na^+通道最大电导	100 mS/cm^2
gK	K^+通道最大电导	80 mS/cm^2	gL	漏电导的最大值	0.1 mS/cm^2
ENa	Na^+通道反转电势	50 mV	EK	K^+通道反转电势	−100 mV
EL	漏电导反转电势	−67 mV	V0	膜电势的初值	−70 mV

2.2. 能量函数

在一个特定时刻，某个神经元所蕴含的电能可以写成电容中储存的电势能与各个离子能斯特电位等效的电池中的储能[16]，能量消耗的计算公式可以表示为：

$E\left(t\right)=\frac{1}{2}C{V}^2+H_{Na}+H_K+H_L$ (11)

公式(11)等号左边表示神经元电路在给定时间内累积的总电能。等号右边第一项是电路中电容存储的能量，后三项表示各离子电源的能量。由于后三项难以直接计算，考虑总能量关于时间的变化率，将公式(11)对时间求导可以得到公式(12)，如下所示：

$P\left(t\right)=CV\dot{V}+i_{Na}{E}_{Na}+i_K{E}_K+i_L{E}_L$ (12)

右端的后三项分别是相应的离子电流和Nernst电位，将RTM模型中的第一个方程(1)代入公式(12)，最终化简得：

$P\left(t\right)=I_{place}V+i_{Na}\left(E_{Na}-V\right)+i_K\left(E_K-V\right)+i_L\left(E_L-V\right)$ (13)

其中，公式(13)等号右边第一项表示外部位置刺激施加给位置细胞的电功率，后三项表示离子通道的电功率，即离子通道每秒消耗的能量。因此，可以通过公式(13)计算位置细胞消耗的能量。

2.3. 位置电流和发放功率模式

第m个位置细胞受外界刺激产生的特定位置电流如下：

$I_{place,m}\left(t\right)=\exp \left(-\frac{{\Vert X\left(t\right)-X_m\Vert }^2}{{\sigma }^2}\right)$ (14)

其中$X\left(t\right)=\left(x_1,x_2\right)$ 表示在t时刻动物在环境中的位置，$X_m$ 表示位置细胞m的位置野中心，$\sigma$ 表示位置细胞位置野的大小，决定着当动物远离位置野中心时，位置细胞放电率的衰减速度。由于所有的位置细胞除了空间位置外结构和功能都是类似的，所有位置细胞都有类似的功率分布，由公式(13)和公式(14)可以得到第m个位置细胞的发放功率为：

$P_m=I_{place,m}V+i_{Na}\left(E_{Na}-V\right)+i_K\left(E_K-V\right)+i_L\left(E_L-V\right)$ (15)

因此，可以通过公式(15)计算位置野中心位于的位置细胞在空间中特定位置时的发放功率。

2.4. 突触连接模型

动物在空间中运动时，位置细胞会对特定的空间位置做出反应，即以高功率活动，若两个位置细胞先后以高功率发放，则它们之间的突触连接获得一次增强[9] [10]。本文在Hebbian学习规则的基础上[17]，运用神经能量来建立位置细胞i和位置细胞j之间的突触连接模型，其增强公式如下：

$\frac{\text{d}{w}_{ij}}{\text{d}t}=\alpha P_i\left[X\left(t\right)\right]P_j\left[X\left(t+\tau \right)\right]H\left(\tau \right)$ (16)

其中$\alpha$ 为学习率，$H\left(\tau \right)$ 是一个时间窗函数，$P_i\left[X\left(t\right)\right]$ 表示处于位置时位置细胞i的活动功率。$P_j\left[X\left(t+\tau \right)\right]$ 表示处于位置时位置细胞j的活动功率。

2.5. 神经能量场模型

假设位置细胞规则地分布在二维的虚拟抽象平面上，n个位置细胞分别对应了空间中n个不同的位置，由于空间位置的拓扑关系与细胞的排列并不是完全对应的，因此可以对位置细胞群作用一个特定的置换矩阵，使得经过变换后的位置细胞能够与空间中的位置一一对应，即网格中的每一个节点都对应着相应位置细胞的位置野中心，则可由位置细胞集群来表达空间位置。如果动物处在平面上位置$X\left(t\right)=\left(x_1,x_2\right)$ 时，z坐标就表示这个特定的位置细胞此时的功率。按照这样的对应规则，在虚拟平面的每一个节点上，都有一个发放功率与之对应。即知道了某一时刻动物在平面中所处的位置$X\left(t\right)$ 时，每个位置细胞的发放功率能够通过公式(15)计算出来，这使得位置细胞集群的功率成为了一种定义在位置野中心上的场，即神经能量场。由于一个节点对应一个位置细胞的位置野中心，所以神经能量场只有在每个节点处才有定义，是一个离散的场。

当两个位置细胞之间先后以高功率活动，说明这两个位置在动物运动的路径上是相邻的，此时根据(16)式，两者对应的位置细胞之间的突触连接就会得到增强，将这条路径信息储存下来。由于动物在进行探索时总是基于对目标的导航，因此用于表达目标的位置细胞与当前的位置细胞总是同时以高功率发放，这就建立当前位置细胞与目标位置细胞之间的突触连接。动物将对空间的记忆和走过路径的信息保存突触连接中[18]，因此突触的变化改变着能量场的分布。模型中突触主要分为两类，一类是相邻的位置细胞由于先后以较高功率发放产生的，另一类是在寻路过程中当前位置和目标位置同时发放产生的，第二种突触对位置细胞的作用可以用一个以目标位置为中心的能量场表示，将这两种突触增强效应进行叠加，得到能量场分布形式如下：

$P_k=P_{kc}+P_{kg}$ (17)

$P_{kc}=\left(1+{\displaystyle \sum _{j\ne c}{w}_{jc}}\right)\left[I_{place,c}V+i_{Na}\left(E_{Na}-V\right)+i_K\left(E_K-V\right)+i_L\left(E_L-V\right)\right]$ (18)

$I_{place,c}=\exp \left(-\frac{{\Vert Z-X\left(t_k\right)\Vert }^2}{{\sigma }^2}\right)$ (19)

$P_{kg}=I_{place,g}V+i_{Na}\left(E_{Na}-V\right)+i_K\left(E_K-V\right)+i_L\left(E_L-V\right)$ (20)

$I_{place,g}=\exp \left(-\frac{{\Vert Z-X_g\Vert }^2}{{\sigma }^2}\right)$ (21)

动物运动到第k步的时间是t_k，此时其所在位置为X(t_k)，假设动物在位置时对应位置细胞c，此时位置细胞c受到的与位置有关的刺激电流I_place,c由公式(19)定义，$Z=\left(x,y\right)$ 表示虚拟平面上的任意位置，X_g表示目标的位置。P_kc表示在第k步探索时位置细胞集群所产生的能量场，P_kg表示以目标位置为中心的能量场，两者叠加得到动物运动到第k步时的能量场P_k。将$Z=\left(x,y\right)$ 所代表的位置代入的表达式P_k之后，就可以算出(x, y)处的功率，这说明可以通过计算得到第k步探索时平面上每个节点的功率。

2.6. 导航向量

在刚刚构建的神经能量场上施加梯度算子，就能得到一个关于能量的向量场，称为神经能量梯度场，梯度场可以反映位置细胞集群发放功率的变化特征，因此可定义能量场梯度为动物下一步运动的导航向量。当动物在某一位置完成第k步时，下一步的方向向量如下所示：

$n_{k+1}=\frac{n_P+n_{rand}}{\left|n_P+n_{rand}\right|}$ (22)

$n_P=grad{P}_k=\frac{\partial P_k}{\partial x}i+\frac{\partial P_k}{\partial y}j$ (23)

$n_{k+1}$ 是经过单位化处理的下一步导航方向向量，其中$n_P$ 是当前的能量场梯度所决定。由于能量场是离散的，因此梯度也是以离散的方式计算得出。是随机向量，其方向随机变化，表示环境中的噪声和干扰因素。当导航过程足够接近目标时，可以认为导航任务已经完成。此时可以通过设定探索的实时位置到目标位置距离小于某个长度时终止探索，称该长度为临界距离。

2.7. 路径规划与能量场修正

基于位置细胞认知地图的路径规划与导航是通过能量场修正来实现的。可分为两个阶段，第一个阶段是构图阶段，在给定一个导航任务后，大鼠随机探索，大鼠每走一步，判断是否到达目标位置，如果到达目标，则对认知地图及场景信息以能量场的形式进行记忆，从而获得整个空间环境布局以及目标点的位置，将位置细胞构架成一个完整的虚拟平面。第二个阶段是学习阶段，这个阶段中利用神经能量梯度进行行为决策，指导大鼠导航，大鼠在探索过程中学习以及记忆，一步步修正能量场来更新认知地图，经过若干轮的探索和对环境的学习，直至大鼠以一个足够高效的路径到达目标点，路径规划与导航框图如图1所示。

Figure 1. Path planning and navigation diagram

图1. 图路径规划与导航框图

Figure 2. Rat’s trajectory of movement

图2. 大鼠运动轨迹

3. 仿真结果与分析

下面设置400个位置细胞进行仿真实验，模拟二维环境的大小为20 × 20，目标位置细胞的坐标设定为(15, 15)，设置步长为1，临界距离为1，模拟大鼠从起始位置(1, 1)进入二维虚拟平面探索。前9轮的探索结果如见图2所示。图2中左下方的星号表示初始位置，右上方的星号表示待探索的目标位置，圆点代表每一步的位置，折线表示运动轨迹。

图2第一幅子图表示大鼠的第一次寻路过程，此时目标未知，能量场未生成，探索路径的导航向量完全由随机项来确定，为完全随机寻路。当大鼠第一次找到了目标时，该位置的位置细胞被激活，之后都是由能量场梯度作为导航来指导探索。随着对环境的不断学习，大鼠对它的认知程度逐渐增强，同时获得更多准确的位置点，激活这些位置的位置细胞，逐步通过能量场更新认知地图，经过9轮学习后，大鼠只用了三十几步就到达了目标位置。

Figure 3. Statistics of path-finding steps

图3. 寻路步数统计

图3展示了探索总步数随学习轮次数的变化情况，其中横坐标表示实验轮次数，纵坐标表示找到目标消耗的步数。从图3可以看出，探索的步数总体呈现下降趋势，第一次的随机寻路用了接近1400步找到目标，通过能量场梯度的学习与优化后，仅用三十步左右就可以找到目标。

能量场形式由当前所在的位置，目标位置以及位置细胞之间的突触连接构成的拓扑结构和突触连接强度共同决定，能量场的变化影响着能量场梯度的变化，大鼠每次探索到一个位置时，就对应着一个特定的能量场分布，通过当前位置的能量梯度再进行下一步的导航。图4展示了第6轮探索过程中第22步和第9轮探索中第22步的能量场与导航向量分布情况，图4(a)，图4(c)表示能量场，图4(b)，图4(d)表示能量场中各点的梯度向量图，其中蓝色箭头表示没有进行单位化的梯度向量，红色的线表示当前位置的能量场梯度，即下一步探索的导航向量，蓝色的线表示当前位置的运动轨迹，从图4中可以看出，由于随机噪声的存在，导航向量与实际运动轨迹之间有着一定程度的差别，但随着探索轮数的增加，大鼠通过不断学习，随机噪声的影响会越来越小，相较于第6轮，在第9轮探索的第22步中，导航向量与实际轨迹已经十分接近，说明此时已经可以较高效地到达目标位置。

Figure 4. Energy fields and navigation vector fields: (a)~(b) Energy field and navigation vector distribution in the 22th step of the 6th round; (c)~(d) Energy field and navigation vector distribution in the 22th step of the 9th round

图4. 能量场和导航示例：(a)~(b)第6轮第22步能量场与导航向量分布；(c)~(d)第9轮第22步能量场与导航向量分布

4. 结论

本文以RTM神经元模型为基础，根据位置细胞在特定位置放电的特点，构建了一种新的位置细胞模型来定量描述其发放功率的衰减规律，并将全体位置细胞在同一时刻发放功率的空间分布视为一种能量场，同时，本文定义了类Hebbian的能量学习机制，通过不断学习改变位置细胞之间的突触连接强度，从而改变能量场的分布形式，基于神经能量场梯度模拟空间定位与导航。实验结果表明，基于神经能量场的位置细胞模型能够形成和更新认知地图，并且利用能量场进行环境探索、认知与导航，最终得到最优路径。与之前的研究[19]相比，本文从神经科学的角度出发，基于RTM模型对海马体位置细胞进行建模，通过计算位置细胞的发放功率构建神经能量场，更加具有生物合理性。从计算方面看，本文的模型基于能量编码的简洁性与全局性，运算更加简便，大大降低了分析研究的成本。同时本文从能量编码的角度证明了突触可塑性对空间记忆以及路径导航的重要作用。

基金项目

国家自然科学基金(NO.11502062)。

NOTES

^*通讯作者。