基于改进储备池计算模型的人体行为识别

Human Activity Recognition Based on Enhanced Reservoir Computing

摘要: 人体行为识别(human activity recognition, HAR)是元宇宙场景人机交互应用中的关键任务。在基于传感器的HAR任务中，提取有用特征是提高模型性能的关键。为此，本文提出了一种改进的储备池计算网络框架(enhanced reservoir computing network framework, ERCNF)。本文首先使用圆形储备池模块提取信号的特征，然后使用降维模块对提取的特征进行降维，最后使用岭回归器进行线性读出。我们在UCI-HAR和mHealth两个公开数据集上评估ERCNF模型。在UCI-HAR和mHealth数据集上ERCNF模型的准确率分别为98.1%和95.6%。该模型具有训练速度快，准确率高等特点，能有效地从数据中提取深度特征，在可穿戴应用中具有良好的应用前景。

Abstract: Human activity recognition (HAR) is a critical task in human-machine interaction applications for meta-universe scenarios. Extracting useful features are the keys to improving the model performance in a sensor-based HAR tasks. This paper proposes an enhanced reservoir computing network framework (ERCNF) to address the problems. In this work, the ERCNF model is feature extracted by the circular reservoir topology module, then the extracted features are dimensionally reduced by a dimensionality reduction module, and finally linear readout is performed by a ridge regressor. We evaluate the ERCNF model with two benchmark HAR on the datasets of UCI-HAR and mHealth. The best classification accuracies achieved by the ERCNF model are 98.1% and 95.6% with UCI-HAR and mHealth datasets, respectively. The model has fast training speed and high accuracy, and can effectively extract depth features from the data, which has good application prospects in wearable ap-plications.

1. 引言

人体行为识别是元宇宙应用和数字运动训练研究的热点之一，不同的人体动作可以被一些信息载体记录下来，比如摄像头、传感器、雷达、WiFi信号等。随着传感器技术的不断发展，人体行为识别应用场景可以扩展到医疗康复、体育比赛、元宇宙等领域。近年来，可穿戴传感器的快速发展和接受也使HAR成为研究热点。与监测心率和血氧等人体生理信号传感器相结合，成为老年人跌倒检测、远程健康诊断和日常健身计划开发应用的重要组成部分。

人类的身体活动拥有固有的层次结构和细粒度的动作 [1] ，使用传感器收集的活动数据(如智能手机中的传感器)建模相当复杂。可穿戴位置的变化、传感器数量的变化以及不同个体带来的活动复杂性，都会造成各种各样的限制。近年来，许多研究都致力于开发基于深度学习的自动特征提取技术 [2] 。同时，在传感器、特征和分类器级别 [3] [4] 中，也引入了传统基于特征的模型以及不同层次的融合框架。然而，深度学习和特征融合模型可能会因为训练速度慢、梯度爆炸或倾向于陷入局部最优 [5] 而给可穿戴应用带来负担。

在这项工作中，我们研究了基于传感器的HAR任务中的储备池计算(Reservoir Computing, RC)模型。RC模型作为一种新型的递归神经网络，克服了上述不足。RC具有训练速度快、短时记忆能力强、抗陷入局部最优 [6] 等优点。RC通常也被称为回声状态网络(Echo State Network, ESN)，自2002年Jaeger推出 [7] 以来，它一直备受关注。与循环神经网络不同，RC模型有一个不可训练的、稀疏连接的循环部分(动态库)作为隐藏层，只有输出权值需要训练。RC的内部权重和输入权重是随机生成的，在训练和测试过程中保持不变。读出训练是一个简单的监督学习线性回归问题，具有简单性和较高的学习效率，适用于传感器信号模式识别分析问题。

本文提出了一种由圆形储备池拓扑模块、降维模块和岭回归器组成的增强型储备池计算网络框架(ERCNF)。在基于传感器的HAR任务中的验证表明，ERCNF模型具有良好的识别性能和快速的训练速度，有望成为可穿戴应用的有效解决方案。

2. 研究现状

基于视觉的HAR方法 [8] [9] [10] 受到摄像机在固定区域捕获信息的限制，限制了长期随访能力。同时，由于图像信息的采集方式，基于视觉的方法缺乏隐私保护能力。相反，可穿戴设备可以持续和私密地跟踪和收集人体运动行为数据。许多机器学习算法已被广泛用于解决与HAR相关的问题，例如传统的基于特征学习的模型，其分类器为决策树 [11] 、随机森林 [12] 、普通贝叶斯 [13] 和支持向量机 [14] 。文献 [15] [16] 提出了利用支持向量机和具有时域和频域特征的随机森林的活动识别方法。在 [15] 中提出了一种基于描述符的内置传感器智能手机活动分类方法，该方法采用梯度直方图和傅里叶变异进行活动分类。此外，深度学习方法也得到了广泛应用。在 [17] 的工作中，作者提出了一种具有卷积神经网络和长短期记忆网络的整体活动识别架构，即CNN-LSTM，在UCI-HAR公共数据集上达到92%的准确率。Abudalfa et al. [18] 提出了一种基于储备池计算与SVM相结合的算法，在自采集数据集中识别准确率为91.7%。在 [19] 中提出了一种融合CNN、递归卷积网络和SVM向量机的协同决策融合机制，基于Tsallis熵计算并融合各分类器的相对加权分数，以提高HAR性能。在 [20] [21] [22] 中也实现了各种深度学习框架和网络结构。

综上所述，传统的基于特征学习的人体行为分类方法存在特征提取算法复杂、容易过拟合的问题。虽然有研究人员使用特征选择算法来获取重要特征并降低维数，但这些分类模型受到核函数选择的限制，计算成本高。同时，基于神经网络的深度模型可以提取更多的抽象特征和判别特征，但由于模型训练所需计算资源大和数据量不足而变得复杂。因此，在本研究中，我们提出了一种基于RC的模型，以克服既具有良好的代表性特征提取能力又具有低部署成本的缺点。

3. 基于改进储备池计算的人体行为识别方法

3.1. 经典RC模型原理

经典RC的拓扑结构如图1所示 [23] 。图的左侧是K个输入节点；中间为RC网络，由N个内部节点和稀疏节点连接权组成；右边为L个输出节点。图中的实线表示网络的必要连接，虚线表示在不同情况下也可能存在的连接，但它们不是构成RC的必要连接。在RC模型中，只有输出连接权值在训练阶段被改变。

Figure 1. Framework of a reservoir computing network

图1. 储备池计算模型的网络结构

储备池状态依照下式进行更新：

$x\left(t+1\right)=f(W_{\text{in}}u\left(t+1\right)+Wx\left(t\right)+W_{\text{back}}y(\; t\; ))$

上式中， $x\left(t\right)$ 为第t步储备池状态向量， $u\left(t\right)$ 和 $y\left(t\right)$ 分别为第t步的输入和输出向量， $f(·)$ 为储备池节点的激励函数， $W_{\text{in}}$ 、 $W_{\text{back}}$ 和W分别为储备池的输入连接、输出反馈连接和内部连接的权值矩阵。网络输出由下式计算：

$y\left(t+1\right)=f\left(W_{\text{out}}\left(u\left(t+1\right),x\left(t+1\right),y\left(t\right)\right)\right)$

上式中， $W_{\text{out}}$ 为输出权值矩阵。RC的基本思想是从储备池中生成一个随输入而不断变化的复杂动态空间。当这个状态空间足够复杂时，这些内部状态可以用来线性组合所需的相应输出。RC的训练过程比调整内部连接矩阵权值要简单得多，在网络初始化后的训练过程中唯一发生变化的是输出连接权值。对于输出权重的调整，每个输出节点根据最小均方误差原则独立调整。

3.2. RC模型改进与分析

以往对递归神经网络的研究主要集中在改进和优化误差梯度下降算法，使其适用于递归神经网络权值的调整。但该算法收敛速度慢、计算量大等问题尚未得到很好的解决。为了捕获输入数据集的大量特征，RC的大小变得巨大，RC的拓扑结构变得复杂，并且随机生成大量的连接矩阵权重。然而，复杂的拓扑结构也增加了算法的复杂度，降低了算法的实用性。因此，我们选择引入一个圆形RC模型 [24] ，它在捕获输入特征和使内存容量(Memory Capacity, MC)更有效；同时，将降维模块和岭回归相结合，提出了一种改进的HAR方法。

由于储备池的高维度， [25] 中预测模型的参数数量会变得过多，使得所提出的表示难以处理。在RC的情况下，应用PCA来降低最后一个储备池状态的维数已被证明可以提高推理任务的性能 [26] 。与非线性降维方法(如核PCA或自编码器 [27] )相比，PCA与RC模型结合时提供了具有竞争力的泛化能力，并且由于其线性公式 [28] ，可以快速计算。高阶张量的降维可以通过将张量分解为核心张量(低维表示)来实现。降维模块使用无监督准则将RC激活序列投射到低维向量上。采用的降维算法为PCA，将特征投影到协方差矩阵的特征向量上。每个多元时间序列都与分类任务中的不同状态序列相关联。

在降维和表示法之后，需要将表示法分类并实现为线性读出。在标准RC模型中，读数是线性的，并通过求解凸优化问题快速训练。然而，线性读数可能不能充分代表从储备池状态导出的模型嵌入。因此，本文选择岭回归非线性模型代替线性解码函数。

圆形RC模型处理输入的多元时间序列，生成随时间变化的状态序列。然后利用主成分分析降维方法对储备池特征进行降维，生成新的储备池特征序列。在此之后，一个新的序列训练一个独立的储备池状态模型来生成新的特征。最后用岭回归法读出分类结果。

对输入的多元时间序列X进行圆形RC模型处理，生成随时间变化的状态序列。然后利用主成分降维方法减少储备池特征的数量，生成新的储备池特征序列。让新序列训练一个独立的储备池状态模型来预测 $h\left(n\right)$ ，其中 ${\theta }_h\left[n\right]$ 表示 $X\left(n\right)$ 。最后用岭回归法读出分类结果。

模型结构如图2所示。利用圆形RC模块对模型进行特征提取，然后用PCA模块对提取的特征进行降维，最后用岭回归器进行线性读出。

Figure 2. Framework overview

图2. 整体结构

4. 实验与讨论

在这项工作中，我们使用两个基于传感器的HAR数据集来验证改进的RC模型的分类能力；每个数据集都有不同数量的传感器位置和活动标签。UCI-HAR和mHealth这两个公共开放数据集被广泛用于基于传感器的HAR模型评估。接下来将描述所使用的数据集，以及对每个数据集进行分析的实验结果。

4.1. 数据集介绍

4.1.1. UCI-HAR 数据集

UCI-HAR数据集基于用于活动识别的智能手机传感器数据。这些数据来自30名年龄在19岁至48岁之间的志愿者，他们将智能手机绑在腰上，进行六项标准活动中的一项，并通过开发的手机软件记录运动数据。还记录了每个志愿者进行活动的视频，然后根据该视频和传感器数据手动标记他们所属的运动类别(类似于剪辑视频中的视听同步)。使用其嵌入式加速度计和陀螺仪以50 Hz的恒定速率捕获3轴线性加速度和3轴角速度。该实验已被录像，以手动注释。进行的六项活动是：走(walking)、走上楼(walking upstairs)、走下楼(walking downstairs)、坐(sitting)、站(standing)和躺(laying)。

4.1.2. mHealth数据集

mHealth数据集包括10名不同背景的志愿者在进行多项体育活动时的身体运动和生命体征记录。放置在受试者胸部、右手腕和左腕关节上的传感器用于测量不同身体部位的运动，即加速度、转弯速率和磁场方向，所有传感模式都以50 Hz的采样率记录。具体的活动有站着不动(standing still)、坐着(sitting)、躺着(lying)、走(walking)、爬楼梯(climbing stairs)、腰前屈(waist bends forward)、手臂正面抬高(the frontal elevation of arms)、膝盖弯曲(knees bending)、骑自行车(cycling)和慢跑(jogging)。关于实验数据收集的详细信息，请参见 [29] [30] 。

4.2. 参数分析

由于RC光谱半径和RC节点数N是基本参数，本节提供了光谱半径的参数分析。如图3所示，当谱半径一定时，平均分类准确率随着N的增加而增加，UCI-HAR数据集N为3500时，验证集的平均分类准确率最高。当mHealth数据集N为400时，验证集的平均分类准确率最高。本文后续所有实验均采用该参数分析的结果进行。

Figure 3. Reservoir size comparisons of classification performance for UCI-HAR and mHealth

图3. UCI-HAR和mHealth分类性能对应储备池节点数大小的比较

如表1所示，使用ERCNF可以有效地减少模型的训练时间。当使用UCI-HAR数据集在同一设备上训练神经网络时，设置RC与ERCNF的节点数N和光谱半径等参数一致，使用CNN网络的训练时间为62.40秒，使用RC网络的训练时间为8.16秒，而使用ERCNF将训练时间减少到5.64秒。结果表明，使用ERCNF可以降低算法的复杂度，从而提高算法的实用性。

Table 1. Comparison of training time between CNN, RC and EERCNF on the UCI-HAR and mHealth datasets

表1. CNN、RC和EERCNF在UCI-HAR和mHealth数据集上训练时间的比较

4.3. 结果讨论

在本节中，我们尝试使用精度和F1-score矩阵等经典指标来评估模型的分类性能。准确率是分类器正确分类的样本数量与样本总数的比值。F1分数是一个结合了准确率和召回率的指标。

本文采用了准确率(Accuracy)和F1值(F1-score)两个评价指标。它们的定义分别如下式所示：

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$

$\text{F}1=\frac{\text{2TP}}{\text{2TP}+\text{FP}+\text{FN}}$

其中TP为真情况，表示从正类预测到正类的样本数；TN为真负情况，表示从负类预测到负类的样本数；FP为假阳性情况，表示从阳性类预测到阴性类的样本数量；FN为假阴性情况，表示从阴性类预测到阳性类的样本数。

Table 2. System resulting data of standard experiment

表2. 标准试验系统结果数据

如表2所示，在UCI-HAR和mHealth数据集上，ERCNF的分类准确率分别为98.1%和95.6%，比经典RC模型分别提高了7.8%和4.5%。SVM模型在mHealth数据集上优于CNN，这是因为CNN容易陷入局部最优，而SVM可以有效地解决这一问题。然而，支持向量机的非线性数据处理能力不足，而RC模型可以较好地解决上述两个问题。最终，可以得出ERCNF也具有比传统机器学习和卷积神经网络更高的分类精度。

UCI-HAR和mHealth数据集上的实验结果见表3和表4。UCI-HAR和mHealth的总体准确率分别为98.1%和95.6%。此外，UCI-HAR所涉及的六项活动的平均准确率、回忆率和F1得分分别为98.08%、98.07%和98.06%；mHealth中12项相关活动的平均准确率、召回率和F1得分分别为95.54%、95.56%和95.50%。

Table 3. Classification results with the proposed ERCNF approach for the UCI-HAR datasets

表3. UCI-HAR数据集的ERCNF方法分类结果

Table 4. Classification results with the proposed ERCNF approach for the mHealth datasets

表4. 采用ERCNF方法对mHealth数据集进行分类

5. 结论

本文提出了一种新的基于改进储备池计算的人体行为识别的特征提取方法。利用两个公开的传感器数据集，我们使用ERCNF模型对人体行为进行分类，获得了良好的识别精度。同时，所提出的方法在训练上比经典深度学习模型更快。这项工作为元宇宙使用和运动训练应用中的HAR任务提供了一个很好的解决方案。本研究的不足之处在于ERCNF模型的有效性仅在两个公共数据集上进行了评估，后续还需要在更多数据集上进行测试，以验证该方法的泛化能力。

基金项目

广东省2019年省拨高建“冲补强”专项项目(编号：5041700175)；教育部第二批新工科研究与实践项目(编号：E-RGZN20201036)。