马尔科夫跳变线性系统二次最优控制的资格迹方法

Eligibility Trace Method for Quadratic Optimal Control of Markovian Jump Linear Quadratic Control

摘要: 本文研究了资格迹方法在马尔科夫跳变线性系统的最优二次控制问题(MJLS-LQR)中的应用。常见的方法通过求解耦合的代数黎卡提方程得到最优控制，并不直接优化策略参数。本文在无模型强化学习方法的基础上引入资格迹，直接优化策略参数。考虑参数已知和参数未知两种情况下，MJLS-LQR问题的资格迹方法。参数未知时，无法利用系统参数信息精确表示资格迹，本文利用零阶优化定理近似资格迹，这可以将问题扩展至代价函数非凸的情况。在有限时域和高斯噪声的条件下，分别给出了两种情况下算法的全局收敛保证。数值模拟结果显示资格迹方法与梯度下降算法相比收敛更快。

Abstract: This paper studies the application of eligibility trace methods in the optimal quadratic control problem of Markov jump linear systems (MJLS-LQR). Common methods obtain optimal control by solving coupled algebraic Riccati equations, rather than directly optimizing policy parameters. Based on the model-free reinforcement learning method, this paper introduces eligibility traces to directly optimize policy parameters. The eligibility trace method for MJLS-LQR problems is considered under two scenarios: known parameters and unknown parameters. When the parameters are unknown, the system parameter information cannot be used to accurately represent the eligibility trace. This paper utilizes the zero-order optimization theorem to approximate the eligibility trace, which can extend the problem to non-convex cost functions. Global convergence guarantees for the algorithms under both scenarios are provided under the conditions of finite time horizon and Gaussian noise. Numerical simulation results show that the eligibility trace method converges faster compared with the gradient descent algorithm.

1. 引言

控制理论的一个重要问题是，当系统动力学发生变化时，保证控制系统仍然满足某些预期中的性能要求。这些变化可能由外部环境干扰导致，也可能由系统内部的故障或子系统间连接故障引起。当干扰因素对系统的影响较小时，通过在系统状态方程中引入随机噪声项描述此类不确定性。然而，情况更加复杂时，这种方式无法有效刻画干扰对系统的影响，导致控制反馈的有效性降低，计算成本也会大幅增加，随机跳变系统 [1] [2] 能够更好地描述这类问题。

马尔科夫跳变线性系统(Markov Jump Linear System, MJLS) [2] 是一类重要的随机系统，在通信、控制、金融等领域有广泛的应用。MJLS具有多个模态，在理想条件下，系统在各个模态之间的跳变转移通过马尔科夫链建模。在复杂的场景中，假设系统在有限的多个模型之间随机转移有确定的概率分布，即从一种模型状态跳转到另一种模型状态的概率是确定的。

在MJLS的最优控制问题研究中，常用的方法通过求解一组耦合黎卡提方程组获取最优控制。然而，当系统参数部分已知或未知时，无法取得良好的效果。Tzortzis [3] 等研究了模态转移概率不确定情况下，为转移概率矩阵设置模糊集研究MJLS的最优控制问题。文献 [4] 基于矩阵不等式方法研究了系统模态无法有效观测的情况，文献 [6] [7] [8] 基于黎卡提方程研究了MJLS的最优控制问题。随着研究深入，关于转移概率部分未知的离散时间和连续时间马尔科夫跳变线性系统的稳定性问题的理论更加成熟 [5] [10] 。强化学习(RL)方法 [9] 和数据驱动方法在解决不确定动力系统的问题中有较大突破，基于采样数据的方法成为解决此类随机系统的最优控制问题的有效手段 [11] [12] 。RL方法是交互式的学习方法，系统通过与环境交互积累经验，以最大化数值收益信号为导向，不断从经验中学习，最终得到最优策略(控制)。当系统动力学参数未知时，RL中的无模型方法直接利用经验数据学习最优控制而不估计系统参数。参数未知时，常用滤波方法估计系统状态参数，代替真实参数求解问题。最著名的是卡尔曼滤波方法 [13] 。Kim & Smagin [14] ，Marcos [15] ，Martins [16] 将卡尔曼滤波应用在马尔科夫跳变线性系统中，取得了不错的效果。虽然目前理论理解仍然不够完善，但无模型方法在MJLS最优控制问题中效果突出 [18] 。

本文对MJLS的策略优化学习方法进行研究，将强化学习和控制理论相结合，提出参数已知和参数未知两种情况下的策略优化学习方法。在实际应用中，许多动态系统都具有随机性，如通信网络、电力系统、飞行器控制系统 [17] 等。本文在理论上证明了RL方法中的资格迹方法的收敛性，数值分析验证了资格迹方法在MJLS最优控制问题中具有较快的收敛性。为解决参数未知的复杂系统的控制问题提供了有效的解决方案和思路。

数值分析部分通过数值模拟验证了不同维度的状态空间下，资格迹方法拥有更快的收敛速度。并研究了资格迹方法中不同衰减参数以及不同模态的系统参数的设置对最终收敛效果的影响。结果显示，衰减参数在合适的范围内，资格迹方法能够获取的最优控制逼近真实最优控制，且收敛速度优于传统方法。

2. 资格迹方法

本文基于RL方法中的actor-critic框架，基于梯度下降算法提出策略参数优化的资格迹方法 [9] ，在策略参数优化的过程中用资格迹代替梯度项。时变策略参数 $K=\left(K_0\left({\theta }_0\right),K_1\left({\theta }_1\right),\cdots ,K_{T-1}\left({\theta }_{T-1}\right)\right)$ ，考虑如下有限时域的随机MJLS-LQR问题：

$\begin{array}{ll}\underset{K}{\min }\hfill & V\left(K\right)={\rm E}\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left(x_t^T{Q}_t\left({\theta }_t\right)x_t+u_t^T{R}_t\left({\theta }_t\right)u_t\right)+x_T^T{Q}_T\left({\theta }_T\right)x_T}\right]\hfill \\ \text{s}\text{.t}\text{.}\hfill & x_{t+1}=A_t\left({\theta }_t\right)x_t+B_t\left({\theta }_t\right)u_t+C_t\left({\theta }_t\right){\omega }_t\hfill \end{array}$ (1)

其中， $x_t\in {ℝ}^d$ 和 $u_t\in {ℝ}^k$ 分别表示系统的状态和控制变量， $t\in \left[T\right]$ ，初始状态 $x_0$ 从分布 $\mathcal{D}$ 中随机抽样。 $Q_t\left({\theta }_t\right)$ ， $R_t\left({\theta }_t\right)$ 是正定矩阵参数。 $A_t\left({\theta }_t\right),B_t\left({\theta }_t\right)$ 和 $C_t\left({\theta }_t\right)$ 是具有合适维数的系统矩阵参数，系统模态参数 ${\theta }_t\in \Theta$ ，某一时刻的系统模态 ${\theta }_t$ 由 $\left(A_t\left({\theta }_t\right),B_t\left({\theta }_t\right),C_t\left({\theta }_t\right)\right)$ 给出。假设初始状态协方差矩阵为 ${\Sigma }_0=E\left[x_0{x}_0^T\right]$ 正定，独立同分布噪声序列 ${\left\{{\omega }_t\right\}}_{t=0}^{T-1}$ 满足：

$\begin{array}{l}E\left({\omega }_t\right)=0,\hfill \\ E\left({\omega }_t{\omega }_t^T{1}_{\left\{{\theta }_t=i\right\}}\right)=W\hfill \\ E\left(x_t{\omega }_t^T{1}_{\left\{{\theta }_t=i\right\}}\right)=0\hfill \end{array},\forall t\in \left[T\right]$ (2)

假设马尔科夫链上的模态具有时不变转移概率，概率矩阵为 $\Pi =\left[{\pi }_{ij}\right]\in {ℝ}^{N\times N}$ ：

${\pi }_{ij}=P\left({\theta }_{t+1}=j|{\theta }_t=i\right),i,j=1,2,\cdots ,N$ (3)

问题的目标是确定最优策略参数，保证累积代价函数达到最小值。

定义 $P_t^K\left({\theta }_t\right)$ 为式(4)的解：

$\begin{array}{c}{P}_t^K\left({\theta }_t\right)=Q_t\left({\theta }_t\right)+K_t^T\left({\theta }_t\right)R_t\left({\theta }_t\right)K_t\left({\theta }_t\right)\\ +{\left(A_t\left({\theta }_t\right)+B_t\left({\theta }_t\right)K_t\left({\theta }_t\right)\right)}^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^K\left({\theta }_{t+1}\right)\right)\left(A_t\left({\theta }_t\right)+B_t\left({\theta }_t\right)K_t\left({\theta }_t\right)\right)\end{array}$ (4)

不至引起歧义时，本文用 $P_t$ 代替 $P_t^K\left({\theta }_t\right)$ ， $A_t$ 代替 $A_t\left({\theta }_t\right)$ 进行论述。

命题2.1：遵循策略参数的累积代价函数可表示为：

$\begin{array}{c}V\left(K,x_t\right)=E\left[x_t^T{P}_t\left({\theta }_t\right)x_t+{\displaystyle \underset{s=t}{\overset{T-1}{\sum }}\omega {}_s{}^{T}C{}_s^T\left({\theta }_s\right){\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\left({\theta }_{s+1}\right)\right)C_s\left({\theta }_s\right){\omega }_s}\right]\\ =E\left[x_t^T{P}_t\left({\theta }_t\right)x_t+{\displaystyle \underset{s=t}{\overset{T-1}{\sum }}Tr\left[C_s\left({\theta }_s\right)W{C}_s^T\left({\theta }_s\right){\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\left({\theta }_{s+1}\right)\right)\right]}\right]\end{array}$ (5)

定义 $E_t=\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\left({\theta }_{t+1}\right)\right)B_t\right)K_t-B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\left({\theta }_{t+1}\right)\right)A_t$ ，系统状态协方差矩阵：

${\Sigma }_t=E\left[x_t{x}_t^T\right]$ (6)

累积损失函数的梯度为：

${\nabla }_{t}V\left(K,x_0\right)=2E_t{\Sigma }_t$ (7)

证明：从t时刻到幕结束的累积代价函数为：

$V\left(K,x_t\right)={\rm E}\left[{\displaystyle \underset{s=t}{\overset{T-1}{\sum }}{x}_s^T{Q}_s{x}_s+u_s^T{R}_s{u}_s+x_{T-1}^T{Q}_{T-1}{x}_{T-1}+u_{T-1}^T{R}_{T-1}{u}_{T-1}+x_T^T{Q}_T{x}_T}\right]$ (8)

其中，

$\begin{array}{c}E\left[x_T^T{Q}_T{x}_T\right]=E\left[{\left(\left(A_{T-1}+B_{T-1}{K}_{T-1}\right)x_{T-1}\right)}^T{\mathcal{E}}_{{\theta }_{T-1}}\left(P_T\right)\left(A_{T-1}+B_{T-1}{K}_{T-1}\right)x_{T-1}\right]\\ +E\left[{\left(C_{T-1}{w}_{T-1}\right)}^T{\mathcal{E}}_{{\theta }_{T-1}}\left(P_T\right)C_{T-1}{w}_{T-1}\right]\end{array}$

所以，

$\begin{array}{c}V\left(K,x_t\right)={\rm E}\left[{\displaystyle \underset{s=t}{\overset{T-2}{\sum }}{x}_s^T{Q}_s{x}_s+u_s^T{R}_s{u}_s+x_{T-1}^T{\mathcal{E}}_{{\theta }_{T-2}}\left(P_{T-1}\right)x_{T-1}+{\left(C_{T-1}{w}_{T-1}\right)}^T{\mathcal{E}}_{{\theta }_{T-1}}\left(P_T\right)C_{T-1}{w}_{T-1}}\right]\\ ={\rm E}\left[x_t^T{Q}_t{x}_t+u_t^T{R}_t{u}_t+x_{t+1}^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)x_{t+1}+{\displaystyle \underset{s=t+1}{\overset{T-1}{\sum }}{\left(C_s{w}_s\right)}^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)C_s{w}_s}\right]\\ ={\rm E}\left[x_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)x_t+{\displaystyle \underset{s=t}{\overset{T-1}{\sum }}Tr\left[C_{s}W{C}_s^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)\right]}\right]\end{array}$

$V\left(K,x_T\right)=x_T^T{\mathcal{E}}_{{\theta }_{T-1}}\left(P_T\right)x_T,P_T=Q_T$ 。

累积代价函数对策略参数 $K_t$ 的偏导为：

$\begin{array}{c}{\nabla }_{t}V\left(K,x_0\right)=\frac{\partial V\left(K,x_0\right)}{\partial K_t}\\ =\frac{\partial E\left[x_t^T\left(Q_t+K_t^T{R}_t{K}_t+{\left(A-B{K}_t\right)}^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)\left(A-B{K}_t\right)\right)x_t+K\left(-t\right)\right]}{\partial K_t}\\ =E\left[2R_t{K}_t{x}_t{x}_t^T-2B^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)\left(A-B{K}_t\right)x_t{x}_t^T\right]\\ =2E_t{\Sigma }_t\end{array}$

其中，

$K\left(-t\right)=\underset{s=0}{\overset{t-1}{{\displaystyle \sum }}}{x}_s^T{Q}_s{x}_s+u_s^T{R}_s{u}_s+\underset{s=t+1}{\overset{T-1}{{\displaystyle \sum }}}{\left(C_s{w}_s\right)}^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)C_s{w}_s$

证毕。

2.1. 参数已知的资格迹方法

本节讨论有限时域情况下，系统模态参数 ${\theta }_t,t\in \left[T\right]$ 和系统参数 $\Xi$ 已知时的资格迹方法 [9] 。资格迹方法在蒙特卡洛方法和时序差分方法的基础上，定义一个与策略参数相同维度的短时记忆向量 $\delta$ ，作为衡量策略参数 $K$ 不同分量的指标。随着迭代次数的增加，参与更新的控制参数的分量对应的资格迹逐渐衰减，直到这一分量再次参与更新。

考虑如下优化策略参数的资格迹方法：

$\begin{array}{l}{K}^{n+1}=K^n-\alpha {\delta }^n\hfill \\ {\delta }^0=\nabla C\left(K^0\right)\hfill \\ {\delta }^n=\lambda {\delta }^{n-1}+\nabla C\left(K^n\right),n>0\hfill \end{array}\forall t\in \left[T\right]$ (9)

其中， $n\in \left[N\right]$ 是迭代次数， $\alpha$ 是步长参数， $\lambda$ 是折扣系数， $K^n=\left(K_0^n,K_1^n,\cdots ,K_{T-1}^n\right)$ 是第n次迭代时的控制序列， ${\delta }^n=\left({\delta }_0^n,{\delta }_1^n,\cdots ,{\delta }_{T-1}^n\right)$ 是与之对应的资格迹序列。

${\delta }_t^n=\{\begin{array}{ll}2E_t^n{\Sigma }_t^n\hfill & t=0,n=0\hfill \\ \lambda {\delta }_{t-1}^n+2E_t^n{\Sigma }_t^n\hfill & t>0,n>0\hfill \end{array},\forall t\in \left[T\right]$ (10)

衰减参数 $\lambda$ 的取值不同，决定了历史信息对下一步决策的重要程度。 $\lambda =0$ 时，决策时不考虑历史信息， $\lambda =1$ 时，在决策过程中历史信息与当前信息同样重要。梯度下降算法只考虑梯度更新的平滑度，而资格迹方法考虑了当前的损失函数和历史策略梯度的关系，能够减少参数更新过程中的错误决策次数。

引理2.2 假设任意可行控制 $K^{\prime }$ 与 $K$ 产生的代价函数均有界， ${\left\{x_t\right\}}_{t=0}^{T-1}$ ， ${\left\{u_t\right\}}_{t=0}^{T-1}$ ， ${\left\{{x^{\prime }}_t\right\}}_{t=0}^{T-1}$ ， ${\left\{{u^{\prime }}_t\right\}}_{t=0}^{T-1}$ 分别是由 $K$ ， $K^{\prime }$ 生成的序列，令 ${x^{\prime }}_0=x_0=x$ ，则代价差可表示为：

$\begin{array}{c}V\left(K^{\prime },x\right)-V\left(K,x\right)=E\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}2Tr\left({x^{\prime }}_t{\left({x^{\prime }}_t\right)}^T{\left({K^{\prime }}_t-K_t\right)}^T{E}_t\right)}\right]\\ +E\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}Tr\left({x^{\prime }}_t{\left({x^{\prime }}_t\right)}^T{\left({K^{\prime }}_t-K_t\right)}^T\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right)\left({K^{\prime }}_t-K_t\right)\right)}\right]\end{array}$ (11)

证明见附录。

引理2.3 令 $\rho =\max \left\{\underset{i}{\max }\Vert A_i-B_i{K}_i\Vert ,\underset{i}{\max }\Vert A_i-B_i{K^{\prime }}_i\Vert \right\}$ ， $\Delta =K_t-{K^{\prime }}_t$ ， $K^{\prime }$ 与 $K$ 是任意策略，系统状态向量的协方差满足下面的关系：

$\Vert {\Sigma }_K-{\Sigma }_{K^{\prime }}\Vert \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[\left(2\rho +1\right)\Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \Delta \Vert }+{\Vert B_{\max }\Vert }^2{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\Vert \Delta \Vert }^2}\right]\left(\frac{V\left(K,x_0\right)}{{\sigma }_{\min }Q}+T\Vert W_{\max }\Vert \right)$ (12)

其中， $\Vert B_{\max }\Vert =\underset{t}{\max }\left\{\Vert B_t\Vert \right\}$ ， $W_{\max }=\underset{C_{t}W{C}_t^T}{\arg \max }\Vert C_{t}W{C}_t^T\Vert$ 。

证明详见附录。

上面的分析为收敛保证奠定了基础，证明算法的收敛性之前，引理2.4的论证了控制序列经过一次迭代后对代价函数值的影响。

引理2.4 设 $K^{*}$ 是最优至序列， $K^{\prime }$ 由 $K$ 经一次迭代得到，当

其中，

${\alpha }_1=\frac{{\rho }^2-1}{2\left({\rho }^{2T}-1\right)\left(2\rho +1\right)\Vert B_{\max }\Vert }\cdot \frac{{\sigma }_{\min }Q{\sigma }_{\min }{\Sigma }_K}{C\left(K\right)+T\Vert W\Vert {\sigma }_{\min }Q}\cdot \frac{1}{\underset{t}{\max }\Vert {\delta }_t\Vert }$

则

$V\left(K^{\prime },x_0\right)-V\left(K^{*},x_0\right)\le \left(1-\frac{8\alpha {\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\Vert {\Sigma }_{K^{*}}\Vert }\right)\left(V\left(K,x_0\right)-V\left(K^{*},x_0\right)\right)$ (13)

证明详见附录。

经过以上分析，下面给出参数已知时，资格迹算法在DLQR问题中的全局收敛性保证。

定理2.5 假设 $C\left(K^0\right)$ 有界，步长 $\alpha$ 满足引理2.4的约束，对 $\forall \epsilon >0$ ，当迭代次数N满足下述条件：

$N\ge \frac{\Vert {\Sigma }_{K^{*}}\Vert }{8\alpha {\sigma }_{\min }\Sigma {\sigma }_{\min }R}\log \frac{V\left(K^0,x_0\right)-V\left(K^{*},x_0\right)}{\epsilon }$

代价函数值收敛至最优值，即：

$V\left(K,x_0\right)-V\left(K^{*},x_0\right)\le \epsilon$ (14)

证明：令，根据引理2.4的结论，

$V\left(K^1,x_0\right)-V\left(K^{*},x_0\right)\le \left(1-\frac{8\alpha {\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\Vert {\Sigma }_{K^{*}}\Vert }\right)\left[V\left(K,x_0\right)-V\left(K^{*},x_0\right)\right]$

假设经 $n+1$ 次迭代后， $V\left(K^{n+1},x_0\right)\le V\left(K^0,x_0\right)$ ，此时 $K_t^{n+1}=K_t^n-\alpha {\delta }_t^n$ ，根据Cauchy-Schwarz不等式，

$\begin{array}{c}\underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}{\delta }_t^n=\underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}\underset{i=0}{\overset{n}{{\displaystyle \sum }}}{\lambda }^{n-i}{\nabla }_{t}V\left(K^n,x_0\right)\le \underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}\sqrt{n\underset{i=0}{\overset{n}{{\displaystyle \sum }}}{\Vert {\nabla }_{t}C\left(K^n\right)\Vert }^2}\\ \le \underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}\sqrt{4n\underset{i=0}{\overset{n}{{\displaystyle \sum }}}Tr\left({\text{Σ}}_t^i{\left(E_t^i\right)}^T{E}_t^i{\text{Σ}}_t^i\right)}\\ \le \sqrt{T\cdot \underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}4n\underset{i=0}{\overset{n}{{\displaystyle \sum }}}{\Vert {\text{Σ}}_t^i\Vert }^{2}Tr\left({\left(E_t^i\right)}^T{E}_t^i\right)}\\ \le \frac{2V\left(K,x_0\right)}{{\sigma }_{\min }Q}\sqrt{nT\frac{\underset{t}{\max }\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right)}{{\sigma }_{\min }\Sigma }\left(V\left(K,x_0\right)-V\left(K^{*},x_0\right)\right)}\end{array}$

$\begin{array}{c}V\left(K,x_0\right)-V\left(K^{*},x_0\right)\ge V\left(K,x_0\right)-V\left(K^{\prime },x_0\right)\\ =E\left[\underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}Tr\left(E_t^T{\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right)}^{-1}{E}_t\right)\right]\\ \ge \frac{{\sigma }_{\min }\Sigma }{\underset{t}{\max }\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right)}\underset{t=0}{\overset{T-1}{{\displaystyle \sum }}}Tr\left(E_t^T{E}_t\right)\end{array}$

结合引理2.3的分析，引理2.3中的结论仍然成立，即：

$V\left(K^{n+1},x_0\right)-V\left(K^{*},x_0\right)\le \left(1-\frac{8\alpha {\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\Vert {\Sigma }_{K^{*}}\Vert }\right)\left[V\left(K^n,x_0\right)-V\left(K^{*},x_0\right)\right]$ (15)

将 $n+1$ 次的结果进行累积，

$V\left(K^{n+1},x_0\right)-V\left(K^{*},x_0\right)\le {\left(1-\frac{8\alpha {\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\Vert {\Sigma }_{K^{*}}\Vert }\right)}^{n+1}\left[V\left(K^0,x_0\right)-V\left(K^{*},x_0\right)\right]$

对 $\forall \epsilon >0$ ，当

$N\ge \frac{\Vert {\Sigma }_{K^{*}}\Vert }{8\alpha {\sigma }_{\min }\Sigma {\sigma }_{\min }R}\log \frac{V\left(K^0,x_0\right)-V\left(K^{*},x_0\right)}{\epsilon }$

时， $V\left(K^N,x_0\right)-V\left(K^{*},x_0\right)\le \epsilon$ 。证毕。

2.2. 系统参数未知的资格迹方法

本节讨论系统模态 ${\theta }_t$ 和系统参数 $\Xi$ 未知时的资格迹方法。不同模态下的系统参数间差异间需要满足一定的界限。模态未知，系统使用零阶优化方法近似资格迹，零阶优化方法 [19] [20] [21] 对目标函数的凸性没有要求，直接以函数值估计函数梯度。在MJLS的最优二次控制问题中，参数未知时，在每一步的控制上加入随机噪声进行采样来估计代价函数值。目标函数可表示为

$V\left(K,x_0\right)=E_{\zeta }\left[V\left(K,x_0;\zeta \right)\right]$ (16)

这里利用带噪声的代价函数值构造梯度的近似无偏估计。令 ${\mathbb{U}}^r=\left\{U\in {ℝ}^{k\times d}:{\Vert U\Vert }_F=r\right\}$ ，设 ${\mathcal{P}}_{\mathbb{U}}$ 是 ${\mathbb{U}}^r$ 上的均匀分布。任意度量 $r>0$ ，以及 $U~{\mathcal{P}}_{\mathbb{U}}$ 与 $\zeta$ 独立，则 $C\left(K\right)$ 的梯度估计 [22] 为：

$\nabla V\left(K,x_0\right)=\frac{k\times d}{r}V\left(K+U,x_0\right)U$

随着r越来越小，近似值越来越精确，但r过小容易导致方差过大。

定义2.5 对给定的 $r>0$ 以及从 ${\upsilon }^r=\left\{U\in {ℝ}^d:{\Vert U\Vert }_F=r\right\}$ 中随机抽取的随机向量 $U$ ，I为采样幕数， $\lambda$ 是折扣系数，资格迹的经验近似为：

${\hat{\delta }}_t^n=\{\begin{array}{ll}\frac{1}{I}{\displaystyle \underset{i=0}{\overset{I-1}{\sum }}\frac{D}{r^2}{\hat{c}}_t^i{U}_t^i}\hfill & n=0\hfill \\ \lambda {\hat{\delta }}_t^{n-1}+\frac{1}{I}{\displaystyle \underset{i=0}{\overset{I-1}{\sum }}\frac{D}{r^2}{\hat{c}}_t^i{U}_t^i}\hfill & n>0\hfill \end{array}$ (18)

其中，

${\hat{c}}_t^i={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left({\left(x_t^i\right)}^T{Q}_t{x}_t^i+{\left(u_t^i\right)}^T{R}_t{u}_t^i\right)+{\left(x_T^i\right)}^T{Q}_T{x}_T^i}$

引理2.6 假设任意不同控制 $K^{\prime }$ 与 $K$ 的分量满足：

$\Vert {K^{\prime }}_t-K_t\Vert \le \min \left\{\Vert K_t\Vert ,\frac{\left({\rho }^2-1\right){\sigma }_{\min }Q{\sigma }_{\min }\Sigma }{2T\left({\rho }^{2T}-1\right)\left(2\rho +1\right)\left(V\left(K,x_0\right)+{\sigma }_{\min }Q\cdot T\Vert W_{\max }\Vert \right)\Vert B_{\max }\Vert }\right\}$ (19)

则存在

$h_C\le \left\{\frac{{\rho }^2-1}{\left(2\rho +1\right)\left({\rho }^{2T}-1\right)}\cdot \frac{1}{\Vert B_{\max }\Vert }\cdot \frac{1}{\Vert W_{\max }\Vert }\cdot \frac{1}{V\left(K^0,x_0\right)}\right\}$

$h_g\le \left\{\frac{{\rho }^2-1}{\left(2\rho +1\right)\left({\rho }^{2T}-1\right)}\cdot \frac{1}{\Vert B_{\max }\Vert }\cdot \frac{1}{\Vert W_{\max }\Vert }\cdot \frac{{\sigma }_{\min }Q{\sigma }_{\min }\Sigma }{V\left(K^0,x_0\right)}\frac{1}{\Vert \Sigma \Vert }\right\}$

使得，

$\left|V\left(K^{\prime },x_0\right)-V\left(K,x_0\right)\right|\le h_C\underset{t=0}{\stackrel{T-1}{\sum }}\Vert {K^{\prime }}_t-K_t\Vert$ ， $\Vert {\nabla }_{t}V\left(K^{\prime },x_0\right)-{\nabla }_{t}V\left(K,x_0\right)\Vert \le h_g\underset{t=0}{\stackrel{T-1}{\sum }}\Vert {K^{\prime }}_t-K_t\Vert$

定理2.7 假设 $C\left(K^0\right)$ 有界，步长 $\alpha$ 满足引理2.3的约束，对 $\forall \epsilon >0$ ，当迭代次数N满足

$N\ge \frac{\Vert {\Sigma }_{K^{*}}\Vert }{8\alpha {\sigma }_{\min }\Sigma {\sigma }_{\min }R}\log \frac{V\left(K^0,x_0\right)-V\left(K^{*},x_0\right)}{\epsilon }$

代价函数值收敛至最优值，即：

$V\left(K,x_0\right)-V\left(K^{*},x_0\right)\le \epsilon$ (20)

证明与定理2.4类似。

表1提出了MJLS-LQ问题的资格迹算法。

Table 1. Eligibility trace algorithm

表1. 资格迹算法

3. 数值模拟

当系统状态空间维数 $d=2$ 时，系统参数为

$A_1=\left(\begin{array}{cc}0.8521& -1.11\\ 1.035& 0.7436\end{array}\right),B_1=\left(\begin{array}{c}0.831\\ 1.002\end{array}\right),Q_1=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right),R_1=1$

$A_2=\left(\begin{array}{cc}0.6984& 1.13\\ 1.025& 0.6521\end{array}\right),B_2=\left(\begin{array}{c}0.705\\ 0.849\end{array}\right),Q_2=\left(\begin{array}{cc}1.105& 0\\ 0& 0.92\end{array}\right),R_2=1$

系统模态转移概率矩阵为：

$\Pi =\left(\begin{array}{cc}0.9& 0.1\\ 0.7& 0.3\end{array}\right)$

比较资格迹方法与梯度下降算法的收敛情况。在折扣系数 $\lambda =0.1$ 的条件下，设定指数衰减的步长参数，时域 $T=200$ ，迭代次数 $N=50$ 和迭代次数 $N=100$ ，代价函数的收敛情况结果如图1和图2所示。

图1和图2的结果说明，资格迹算法比梯度下降算法具有更快的收敛速度。资格迹方法中折扣系数的取值对最终结果有显著影响，图3展示了 $T=100$ ， $N=70$ 时不同的折扣系数对算法性能的影响。

图4展示了某次系统模态序列，在本节设定的系统参数下，折扣系数 $\lambda <0.3$ 时，资格迹算法表现优于策略梯度算法，当 $\lambda >0.3$ 后，结果出现不收敛的情况，随 $\lambda$ 的增大，收敛更快，但结果不收敛。 $\lambda$ 是过去梯度信息的权重，说明在这一数值范例中，过去梯度信息对问题求解只能提供少量信息。

Figure 1. The convergence of C(K) when d = 2, T = 40

图1. d = 2，T = 40代价函数的收敛情况

Figure 2. The convergence of C(K) when d = 2, T = 70

图2. d = 2，T = 70代价函数的收敛情况

Figure 3. Cost function error variation with N = 100

图3. N = 100代价函数误差变化

Figure 4. System modal sequence

图4. 系统模态序列

4. 结论

本文研究了无模型强化学习方法在有限时域MJLS-LQ问题中的应用，不同于通过解代数黎卡提方程方程得到最优控制的方法，本文直接优化控制增益，在梯度下降算法的基础上引入资格迹方法，并给出在参数已知和参数未知两种情况下算法的收敛保证。在初始代价函数有界的条件下，算法可以扩展至无限时域。数值模拟验证了算法的收敛性，展示了不同参数设置对结果的影响。另一个方向是基于有模型的强化学习方法，在更少样本量的基础上，进一步达到更好的收敛结果。

致谢

感谢张老师在论文写作过程中给出的指导和建议。

附录

引理2.2证明：

令 ${\Upsilon }_s=\omega {}_s{}^{T}C{}_s^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)C_s{\omega }_s$ ，

$\begin{array}{c}V\left(K^{\prime },x\right)-V\left(K,x\right)=E\left[x^T{P}_{0}x+{\displaystyle \underset{s=0}{\overset{T-1}{\sum }}{\Upsilon }_s}\right]-V\left(K,x\right)\\ =E\left[x^T{P}_{0}x+{\displaystyle \underset{s=0}{\overset{T-1}{\sum }}\left({\Upsilon }_s+V\left(K,{x^{\prime }}_s\right)-V\left(K,{x^{\prime }}_s\right)\right)}\right]-V\left(K,x\right)\\ =E\left[x^T{P}_{0}x+{\displaystyle \underset{s=0}{\overset{T-1}{\sum }}\left({\Upsilon }_s+V\left(K,{x^{\prime }}_{s+1}\right)-V\left(K,{x^{\prime }}_s\right)\right)}\right]\end{array}$

令 $J\left(K,x_s,u_s\right)=x_s^T{Q}_s{x}_s+u_s^T{R}_s{u}_s+E\left[V\left(K,x_{s+1}\right)\right]$

$\begin{array}{c}V\left(K^{\prime },x\right)-V\left(K,x\right)=E\left[x^T{P}_{0}x+{\displaystyle \underset{s=0}{\overset{T-1}{\sum }}\left({\Upsilon }_s+V\left(K,{x^{\prime }}_{s+1}\right)-V\left(K,{x^{\prime }}_s\right)\right)}\right]\\ =E\left[{\displaystyle \underset{s=0}{\overset{T-1}{\sum }}J\left(K,{x^{\prime }}_s,{u^{\prime }}_s\right)-V\left(K,{x^{\prime }}_s\right)}\right]\end{array}$

$\begin{array}{l}J\left(K,{x^{\prime }}_s,{u^{\prime }}_s\right)-V\left(K,{x^{\prime }}_s\right)\\ ={\left({x^{\prime }}_s\right)}^T{Q}_s{x^{\prime }}_s+{\left({u^{\prime }}_s\right)}^T{R}_s{u^{\prime }}_s+E\left[V\left(K,x_{t+1}\right)\right]-V\left(K,{x^{\prime }}_s\right)\\ ={\left({x^{\prime }}_s\right)}^T\left(Q_s+{\left({K^{\prime }}_s\right)}^T{R}_s{K^{\prime }}_s+{\left(A_s+B_s{K^{\prime }}_s\right)}^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)\left(A_s+B_s{K^{\prime }}_s\right)\right){x^{\prime }}_s-{\left({x^{\prime }}_s\right)}^T{P}_s{x^{\prime }}_s\\ ={\left({x^{\prime }}_s\right)}^T\left(Q_s+{\left({K^{\prime }}_s-K_s+K_s\right)}^T{R}_s\left({K^{\prime }}_s-K_s+K_s\right)\right){x^{\prime }}_s\\ +{\left({x^{\prime }}_s\right)}^T{\left(A_s+B_s\left({K^{\prime }}_s-K_s+K_s\right)\right)}^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)\left(A_s+B_s\left({K^{\prime }}_s-K_s+K_s\right)\right){x^{\prime }}_s\end{array}$

$\begin{array}{l}-{\left({x^{\prime }}_s\right)}^T\left(Q_s+K_s^T{R}_s{K}_s+{\left(A_s+B_s{K}_s\right)}^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)\left(A_s+B_s{K}_s\right)\right){x^{\prime }}_s\\ =2{\left({x^{\prime }}_s\right)}^T{\left({K^{\prime }}_s-K_s\right)}^T\left(\left(R_s+B_s^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)B_s\right)K_s-B_s^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)A_s\right){x^{\prime }}_s\\ +{\left({x^{\prime }}_s\right)}^T{\left({K^{\prime }}_s-K_s\right)}^T\left(R_s+B_s^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)B_s\right)\left({K^{\prime }}_s-K_s\right){x^{\prime }}_s\\ =2Tr\left({x^{\prime }}_s{\left({x^{\prime }}_s\right)}^T{\left({K^{\prime }}_s-K_s\right)}^T{E}_s\right)\\ +Tr\left({x^{\prime }}_s{\left({x^{\prime }}_s\right)}^T{\left({K^{\prime }}_s-K_s\right)}^T\left(R_s+B_s^T{\mathcal{E}}_{{\theta }_s}\left(P_{s+1}\right)B_s\right)\left({K^{\prime }}_s-K_s\right)\right)\end{array}$

引理2.3证明：

定义线性算子： ${\mathcal{F}}_{K_t}\left(X\right)=\left(A_t+B_t{K}_t\right)X{\left(A_t+B_t{K}_t\right)}^T$ ， ${\mathcal{G}}_t\left(\Sigma \right)={\mathcal{F}}_{K_t}\circ {\mathcal{F}}_{K_{t-1}}\circ \cdots \circ {\mathcal{F}}_{K_0}$

系统状态协方差矩阵为：

$\begin{array}{c}{\Sigma }_{t+1}=E\left(x_{t+1}{x}_{t+1}^T\right)\\ =E\left(\left(\left(A_t+B_t{K}_t\right)x_t+C_t{\omega }_t\right){\left(\left(A_t+B_t{K}_t\right)x_t+C_t{\omega }_t\right)}^T\right)\\ =\left(A_t+B_t{K}_t\right){\Sigma }_t{\left(A_t+B_t{K}_t\right)}^T+C_{t}W{C}_t^T\\ ={\mathcal{F}}_{K_t}\left({\Sigma }_t\right)+C_{t}W{C}_t^T\end{array}$

$\begin{array}{c}=\left(A_t+B_t{K}_t\right)\left({\mathcal{F}}_{K_{t-1}}\left({\Sigma }_{t-1}\right)+C_{t-1}W{C}_{t-1}^T\right){\left(A_t+B_t{K}_t\right)}^T+C_{t}W{C}_t^{}\\ ={\mathcal{F}}_{K_t}\circ {\mathcal{F}}_{K_{t-1}}\left({\Sigma }_{t-1}\right)+{\mathcal{F}}_{K_t}\left(C_{t-1}W{C}_{t-1}^T\right)+C_{t}W{C}_t^T\\ ={\mathcal{F}}_{K_t}\circ {\mathcal{F}}_{K_{t-1}}\circ {\mathcal{F}}_{K_{t-2}}\left({\Sigma }_{t-2}\right)+{\mathcal{F}}_{K_t}\circ {\mathcal{F}}_{K_{t-1}}\left(C_{t-2}W{C}_{t-2}^T\right)+{\mathcal{F}}_{K_t}\left(C_{t-1}W{C}_{t-1}^T\right)+C_{t}W{C}_t^T\\ ={\mathcal{G}}_t\left({\Sigma }_0\right)+{\displaystyle \underset{s=0}{\overset{t-1}{\sum }}{\mathcal{F}}_{K_t}\circ \cdots \circ {\mathcal{F}}_{K_{t-s}}\left(C_{t-s-1}W{C}_{t-s-1}^T\right)}+C_{t}W{C}_t^T\end{array}$

$\begin{array}{c}{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \left({\mathcal{F}}_{K_t}-{\mathcal{F}}_{{K^{\prime }}_t}\right)\left(X\right)\Vert }={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \left(A_t+B_t{K}_t\right)X{\left(A_t+B_t{K}_t\right)}^T-\left(A_t+B_t{K^{\prime }}_t\right)X{\left(A_t+B_t{K^{\prime }}_t\right)}^T\Vert }\\ ={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \left(A_t+B_t{K}_t\right)X{\left(B_t{\Delta }_t\right)}^T+\left(B_t{\Delta }_t\right)X{\left(A_t+B_t{K}_t\right)}^T-\left(B_t{\Delta }_t\right)X{\left(B_t{\Delta }_t\right)}^T\Vert }\\ \le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert X\Vert \left(2\Vert A_t+B_t{K}_t\Vert \Vert B_t\Vert \Vert K_t-{K^{\prime }}_t\Vert +{\Vert B_t\Vert }^2{\Vert K_t-{K^{\prime }}_t\Vert }^2\right)}\\ \le \left(2\rho \Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert K_t-{K^{\prime }}_t\Vert +{\Vert B_{\max }\Vert }^2{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\Vert K_t-{K^{\prime }}_t\Vert }^2}}\right)\Vert X\Vert \end{array}$

令 ${\mathcal{F}}_{K_t}\left(X\right)={\mathcal{F}}_t,{\mathcal{F}}_{{K^{\prime }}_t}\left(X\right)={{\mathcal{F}}^{\prime }}_t$

$\begin{array}{c}{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \left({{\mathcal{G}}^{\prime }}_t-{\mathcal{G}}_t\right)\left(X\right)\Vert }={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \left({{\mathcal{F}}^{\prime }}_t\circ {{\mathcal{G}}^{\prime }}_{t-1}-{{\mathcal{F}}^{\prime }}_t\circ {\mathcal{G}}_{t-1}+{{\mathcal{F}}^{\prime }}_t\circ {\mathcal{G}}_{t-1}-{\mathcal{F}}_t\circ {\mathcal{G}}_{t-1}\right)\left(X\right)\Vert }\\ \le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {\mathcal{F}}_{{K^{\prime }}_t}\Vert \Vert \left({{\mathcal{G}}^{\prime }}_{t-1}-{\mathcal{G}}_{t-1}\right)\left(X\right)\Vert }+\Vert {\mathcal{G}}_{t-1}\Vert \Vert {{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\Vert \Vert X\Vert \\ \le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\rho }^2\Vert \left({{\mathcal{G}}^{\prime }}_{t-1}-{\mathcal{G}}_{t-1}\right)\left(X\right)\Vert }+{\rho }^{2t}\Vert {{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\Vert \Vert X\Vert \\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left({\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\Vert }\right)\Vert X\Vert \end{array}$

同理可得：

${\displaystyle \underset{s=0}{\overset{t-1}{\sum }}\left({{\mathcal{F}}^{\prime }}_t\circ \cdots \circ {{\mathcal{F}}^{\prime }}_{t-s}-{\mathcal{F}}_t\circ \cdots \circ {\mathcal{F}}_{t-s}\right)\left(C_{t-s-1}W{C}_{t-s-1}^T\right)}\le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left({\displaystyle \underset{s=0}{\overset{t-1}{\sum }}\Vert {{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\Vert }\right)\Vert W_{\max }\Vert$

综上所述：

$\begin{array}{c}\Vert {\Sigma }_K-{\Sigma }_{K^{\prime }}\Vert \le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left[\Vert \left({{\mathcal{G}}^{\prime }}_t-{\mathcal{G}}_t\right)\left({\Sigma }_0\right)\Vert +{\displaystyle \underset{s=0}{\overset{t-1}{\sum }}\Vert ({{\mathcal{F}}^{\prime }}_t\circ \cdots \circ {{\mathcal{F}}^{\prime }}_{t-u}-{\mathcal{F}}_t\circ \cdots \circ {\mathcal{F}}_{t-u})\left(C_{t-u-1}W{C}_{t-u-1}^T\right)\Vert }\right]}\\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \left({{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\right)\left({\Sigma }_0\right)\Vert }+{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {\displaystyle \underset{s=0}{\overset{t}{\sum }}\left({{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\right)\left(W_{\max }\right)}\Vert }\right]\\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {{\mathcal{F}}^{\prime }}_t-{\mathcal{F}}_t\Vert }\right]\left(\Vert {\Sigma }_0\Vert +T\Vert W_{\max }\Vert \right)\\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[2\rho \Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \Delta \Vert }+{\Vert B_{\max }\Vert }^2{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\Vert \Delta \Vert }^2}\right]\left(\frac{V\left(K,x_0\right)}{{\sigma }_{\min }Q}+T\Vert W_{\max }\Vert \right)\end{array}$

引理2.4证明：

$V\left(K^{\prime },x_0\right)-V\left(K^{*},x_0\right)=V\left(K^{\prime },x_0\right)-V\left(K,x_0\right)+V\left(K,x_0\right)-V\left(K^{*},x_0\right)$

$\begin{array}{l}V\left(K^{\prime },x_0\right)-V\left(K,x_0\right)\\ ={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left[-2\alpha Tr\left({{\Sigma }^{\prime }}_t{\delta }_t^T{E}_t\right)+{\alpha }^{2}Tr\left({{\Sigma }^{\prime }}_t{\delta }_t^T\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right){\delta }_t\right)\right]}\\ ={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left[-2\alpha Tr\left(\left({{\Sigma }^{\prime }}_t-{\Sigma }_t+{\Sigma }_t\right){\delta }_t^T{E}_t\right)+{\alpha }^{2}Tr\left({{\Sigma }^{\prime }}_t{\delta }_t^T\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right){\delta }_t\right)\right]}\\ \le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}[-2\alpha Tr\left({\delta }_t^T{\delta }_t-\left({{\Sigma }^{\prime }}_t-{\Sigma }_t\right){\delta }_t^T{E}_t{\Sigma }_t{\Sigma }_t^{-1}\right)}+{\alpha }^{2}Tr\left({{\Sigma }^{\prime }}_t{\delta }_t^T\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\right){\delta }_t\right)]\\ \le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left[-2\alpha Tr\left({\delta }_t^T{\delta }_t\right)+2\alpha \frac{\Vert {{\Sigma }^{\prime }}_t-{\Sigma }_t\Vert }{{\sigma }_{\min }\Sigma }Tr\left({\delta }_t^T{\delta }_t\right)\right]}+{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}[{\alpha }^2\Vert R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\Vert \Vert {{\Sigma }^{\prime }}_t\Vert Tr\left({\delta }_t^T{\delta }_t\right)]}\\ \le {{\alpha }^{\prime }}_{para}{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}Tr\left({\delta }_t^T{\delta }_t\right)}\end{array}$

${{\alpha }^{\prime }}_{para}:=-2\alpha {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}1-\frac{\Vert {{\Sigma }^{\prime }}_t-{\Sigma }_t\Vert }{{\sigma }_{\min }{\Sigma }_K}-\frac{\alpha }{2}\Vert {\Sigma }_{K^{\prime }}\Vert \Vert R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\Vert }$

$\begin{array}{c}\frac{{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {{\Sigma }^{\prime }}_t-{\Sigma }_t\Vert }}{{\sigma }_{\min }\Sigma }\le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {\mathcal{F}}_{{K^{\prime }}_t}-{\mathcal{F}}_{K_t}\Vert }\right]\frac{\left(\Vert {\Sigma }_0\Vert +T\Vert W_{\min }\Vert \right)}{{\sigma }_{\min }\Sigma }\\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[2\rho \Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {\Delta }_t\Vert }+{\Vert B_{\max }\Vert }^2{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\Vert {\Delta }_t\Vert }^2}\right]\frac{\left(\Vert {\Sigma }_0\Vert +T\Vert W_{\min }\Vert \right)}{{\sigma }_{\min }\Sigma }\end{array}$

$\Vert B_{\max }\Vert \Vert {K^{\prime }}_t-K_t\Vert =\alpha \Vert {\delta }_t\Vert \le \frac{{\sigma }_{\min }Q{\sigma }_{\min }\Sigma }{2V\left(K,x_0\right)}\le \frac{1}{2}$

$2\rho \Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert \Delta \Vert }+{\Vert B_{\max }\Vert }^2{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\Vert \Delta \Vert }^2}\le \left(2\rho +1\right)\Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\alpha \Vert {\delta }_t\Vert }$

$\begin{array}{c}\frac{{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {{\Sigma }^{\prime }}_t-{\Sigma }_t\Vert }}{{\sigma }_{\min }\Sigma }\le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {\mathcal{F}}_{{K^{\prime }}_t}-{\mathcal{F}}_{K_t}\Vert }\right]\frac{\left(\Vert {\Sigma }_0\Vert +T\Vert W_{\min }\Vert \right)}{{\sigma }_{\min }\Sigma }\\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[2\rho \Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert {\Delta }_t\Vert }+{\Vert B_{\max }\Vert }^2{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}{\Vert {\Delta }_t\Vert }^2}\right]\frac{\left(\Vert {\Sigma }_0\Vert +T\Vert W_{\min }\Vert \right)}{{\sigma }_{\min }\Sigma }\\ \le \frac{{\rho }^{2T}-1}{{\rho }^2-1}\left[\left(2\rho +1\right)\Vert B_{\max }\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\alpha \Vert {\delta }_t\Vert }\right]\frac{\left(V\left(K,x_0\right)+T{\sigma }_{\min }Q\Vert W_{\min }\Vert \right)}{{\sigma }_{\min }Q{\sigma }_{\min }\Sigma }\\ \le \frac{1}{2}\end{array}$

$\Vert {\Sigma }_{K^{\prime }}\Vert \le \Vert {\Sigma }_{K^{\prime }}-{\Sigma }_K\Vert +\Vert {\Sigma }_K\Vert \le \frac{1}{2}{\sigma }_{\min }\Sigma +\frac{V\left(K,x_0\right)}{{\sigma }_{\min }Q}\le \frac{1}{2}\Vert {\Sigma }_{K^{\prime }}\Vert +\frac{V\left(K,x_0\right)}{{\sigma }_{\min }Q}$

$\begin{array}{c}\frac{\alpha }{2}\Vert {\Sigma }_{K^{\prime }}\Vert {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\Vert }\le \frac{\alpha }{2}\cdot \frac{2V\left(K,x_0\right)}{{\sigma }_{\min }Q}\cdot {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\Vert R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\Vert }\\ \le \frac{\alpha V\left(K,x_0\right)}{{\sigma }_{\min }Q}T\cdot \underset{t}{\max }\Vert R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}\right)B_t\Vert \\ \le \frac{1}{2}\end{array}$

$\begin{array}{l}V\left(K,x_0\right)-V\left(K^{*},x_0\right)\\ ={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}[-2Tr\left(x_t^{*}{\left(x_t^{*}\right)}^T{\left(K_t-K_t^{*}\right)}^T{E}_t\right)}-Tr\left(x_t^{*}{\left(x_t^{*}\right)}^T{\left(K_t-K_t^{*}\right)}^T\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^{K^{*}}\right)B_t\right)\left(K_t-K_t^{*}\right)\right)]\\ ={\displaystyle \underset{t=0}{\overset{T-1}{\sum }}[-Tr(x_t^{*}{\left(x_t^{*}\right)}^T{\left(K_t-K_t^{*}+{\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^{K^{*}}\right)B_t\right)}^{-1}{E}_t\right)}^T\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^{K^{*}}\right)B_t\right)}\\ \left(K_t-K_t^{*}+{\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^{K^{*}}\right)B_t\right)}^{-1}{E}_t\right))+Tr\left(x_t^{*}{\left(x_t^{*}\right)}^T{E}_t^T{\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^{K^{*}}\right)B_t\right)}^{-1}{E}_t\right)]\end{array}$

$\begin{array}{l}\le {\displaystyle \underset{t=0}{\overset{T-1}{\sum }}[Tr\left(x_t^{*}{\left(x_t^{*}\right)}^T{E}_t^T{\left(R_t+B_t^T{\mathcal{E}}_{{\theta }_t}\left(P_{t+1}^{K^{*}}\right)B_t\right)}^{-1}{E}_t\right)}\\ \le \frac{\Vert {\Sigma }_{K^{*}}\Vert }{{\sigma }_{\min }R}{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}Tr\left(E_t^T{E}_t\right)}\le \frac{\Vert {\Sigma }_{K^{*}}\Vert }{4{\sigma }_{\min }R}{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}Tr\left({\Sigma }_t^{-1}{\delta }_t^T{\delta }_t{\Sigma }_t^{-1}\right)}\\ \le \frac{\Vert {\Sigma }_{K^{*}}\Vert }{4{\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}Tr\left({\delta }_t^T{\delta }_t\right)}\end{array}$

$\begin{array}{l}V\left(K^{\prime },x_0\right)-V\left(K,x_0\right)\\ \le -2\alpha \frac{4{\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\Vert {\Sigma }_{K^{*}}\Vert }\left[V\left(K,x_0\right)-V\left(K^{*},x_0\right)\right]+\left[V\left(K,x_0\right)-V\left(K^{*},x_0\right)\right]\\ \le \left(1-\frac{8\alpha {\sigma }_{\min }R{\sigma }_{\min }^2\Sigma }{\Vert {\Sigma }_{K^{*}}\Vert }\right)\left[V\left(K,x_0\right)-V\left(K^{*},x_0\right)\right]\end{array}$