具有能量约束的线性二次高斯系统的最优控制与能量调度

Optimal Control and Energy Scheduling for Linear-Quadratic-Gaussian System with Energy Harvesting Constraints

摘要: 本文考虑了一种带有能量收集约束的能量传输反馈线性二次高斯(LQG)系统的最优控制器合成。该系统面临着选择传输能量给控制器以及每个能量操作成本和能量收集约束的选择。目标是共同选择传输能量和控制器，以在控制性能和成本之间保持最佳平衡。在一定的假设下，这个问题可以分解为两个优化问题：一个用于最优控制器合成，另一个用于最优传输能量选择。最优控制器合成子问题由Riccati方程描述，而最优传输能量选择策略则通过解决某个马尔可夫决策过程(MDP)来找到。最后，我们通过仿真验证了上述方法的有效性。

Abstract: In this paper, we consider the optimal controller synthesis of an energy-transmission-feedback Linear-Quadratic Gaussian (LQG) system with energy harvesting constraints. The system is presented with the choice of transmission energy to the controller along with the cost of operating each energy and energy harvesting constraints. The objective is to jointly select the transmission energy and the controller that would maintain an optimal balance between the control performance and the cost. Under certain assumptions, this problem can be solved in two optimization problems: one for optimal controller synthesis and the other for optimal transmission energy selection. The optimal controller synthesis subproblem is characterized by Riccati equations and the optimal transmission energy selection policy is found by solving a certain Markov-Decision-Process (MDP). In the end, we verify the effectiveness of the above method through a simulation.

1. 引言

由于网络、通信技术、计算和控制的迅速发展，这些领域在各种系统中将网络与实际世界紧密结合起来。对这些系统的控制需要在共享通信网络上交换不受压抑且可靠的信号。从 [1] [2] [3] 可以看出，在一些资源约束下，提高系统性能和可靠性将带来挑战。

LQG系统一直具有广泛的应用，在经典的线性二次高斯(LQG)系统中，噪声是不可避免，一般而言，噪声被假设服从高斯分布。正如 [4] 所示，在无限时域的LQG系统中，作者展示了控制成本和通信数据速率之间的权衡。关于在通信约束下控制LQG系统的问题已经在多个研究中进行了探讨，如 [5] [6] 。例如， [6] 表明最优控制器并不表现出分离原则；但在 [5] 中，作者提供了控制器表现出分离原则的必要条件，但是控制器和能量选择器的最优结构尚未得到充分研究，因而，系统控制策略和能量传输功率选择策略的共同设计一直是研究的热点。。

与此同时，能量收集这一研究领域也引起了学者的广泛兴趣 [7] [8] 。Li等人 [9] 的工作探讨了使用能量收集传感器进行远程状态估计的传感器传输能量控制，采用连续时间方法和扰动分析。在此基础上，彭等人 [10] 表明了存在最优的确定性和稳态功率传输分配策略。在实践中，由于实际电路的限制，同时进行能量收集和数据包传输可能无法实现 [11] 。能量收集和信息传输的方法通常分为两个主要的常见类别：一种是功率分割，即使用接收到的部分能量进行能量收集，其余部分用于信息处理；另一种是时间切换方案，接收器在传输信息和获取能量之间切换时间 [12] 。

基于 [5] 中提出的分离原则，作者在 [13] 中提出了一个新的框架，不再设计能量选择器，而是是否可以从给定的能量选择器集合中找到最优的传输能量水平。在本文中，我们遵循这一框架，分别设计控制器和能量选择器。最后，我们考虑了一个场景，即控制系统可以从给定的能量选择器中选择最优的能量水平来传输其测量结果。

本文的贡献是：1) 通过考虑能量成本和能量收集约束，研究了具有一组能量传输水平的LQG最优控制问题；2) 利用后向归纳法研究出最优控制器结构，将控制器合成问题与能量选择问题分离；3) 将最优功率选择问题表示为约束MDP，并证明了存在最优确定性功率传输选择策略。

2. 问题定式化

让我们考虑一个定常的LQG系统：

$X_{t+1}=A{X}_t+B{U}_t+W_t$ (1)

$X_t\in {ℝ}^n$ 是系统状态， $U_t\in {ℝ}^m$ 是控制信息，A和B是相容维数的常数矩阵。 ${\left\{W_t\right\}}_{t\in {\mathbb{N}}_0}$ 是一个具有零均值高斯分布的独立同分布噪声序列 $W_t~\mathcal{N}\left(0,\mathcal{W}\right)$ 。初始状态 $X_0$ 是一个符合 $\mathcal{N}\left({\mu }_0,\Sigma \right)$ 的高斯随机变量分布。

Figure 1. Control system flow chart

图1. 控制系统流程图

如图1所示，我们将传输能量分为M个级别，并从M个能量级别中选择传输能量 $p_t$ 。第i个传输能量级别提供的传输能量用 ${\mathcal{Q}}^i\left(i\in \left\{1,2,\cdots ,M\right\}\right)$ 表示，并且让 $\lambda \left({\mathcal{Q}}^i\right)={\lambda }_i\in {ℝ}_{+}$ 表示与之相关的成本。在一个无线数据包丢失通信信道上，系统进行状态估计并将估计值发送到控制器。假设无线信道是一个加性白噪声高斯信道(AWGN)，其比特错误率(BER)与传输能量 $p_t$ 的关系由 [10] 所描述：

$\text{BER}=\text{2}\Phi \left(\sqrt{\left(\beta p_t\right)/\left(S_{0}K\right)}\right)$

其中 $\Phi \left(x\right)\triangleq \frac{1}{\sqrt{2\pi }}{\displaystyle {\int }_x^{\infty }\exp }\left(-t^2/2\right)\text{d}t$ ， $\beta >0$ 是一个常数， $S_0$ 为噪声功率的频谱密度，K为无线信道带宽。

在本文中，我们考虑一个能量受限、所需传输信息量通常较小的场景。为方便起见，我们假设每个数据包只包含一个比特(例如用于奇偶校验)。在传输过程中，如果数据包丢失，则接收端将无法正确验证奇偶校验，即数据包丢失等于比特错误率(BER)。数据检查方法可以检测数据包错误，这些方法在 [9] 中有描述。我们可以利用一个二元随机过程 $\gamma \left(t\right)$ 来描述传输过程：如果控制器接收到的信号无误，则 $\gamma \left(t\right)=1$ ，否则 $\gamma \left(t\right)=0$ (此情况可视为丢失)。传输信号的丢失概率由 ${\gamma }_t$ 表示，定义为 ${\gamma }_t\triangleq \text{Pr}\left[\gamma \left(t\right)=0\right]=2\Phi \left(\sqrt{\beta \frac{p_t}{S_{0}K}}\right)$ ，其中控制器可用的测量值表示为：

$Y_t=\gamma \left(t\right)X_t+\left(1-\gamma \left(t\right)\right)\left(A{X}_{t-1}+B{U}_{t-1}\right).$ (2)

对于环境无线射频信号，无线信息发射器和能量接收器分别具有两种明显不同的功率灵敏度。此外，系统需要在传输信息和收集能量之间进行时间切换。因此，在商业可用的电路中，时间切换方案优于功率分割方案，因此我们采用时间切换方案。

将从起始到步骤t结束的收集到的能量表示为 ${\sigma }_t$ 。假定能量收集过程 ${\sigma }_t$ 是一个离散时间稳态一阶齐次马尔可夫过程。将电池的最大能量存储容量表示为 $C\ge p_t$ 。选择器不能同时收集能量和传输数据，我们有

$b_t=\{\begin{array}{ll}\min \left\{b_t+{\sigma }_t,C\right\},\hfill & p_t=0,\hfill \\ b_t-p_t,\hfill & 0<p_t\le b_t.\hfill \end{array}$

用于传输能量选择器的新决策变量 ${\pi }_t^i$ 表示如下：如果在时间t使用第i个传输能量，则 ${\pi }_t^i=1$ ，否则 ${\pi }_t^i=0$ 。因此，向量 ${\pi }_t\triangleq \left[{\pi }_t^1,{\pi }_t^2,\cdots ,{\pi }_t^M\right]\in {\left\{0,1\right\}}^M$ ，描述了在时间t的传输能量切换方案的决策。因为传输能量选择器在每个时间步只选择一个传输能量，所以我们有 ${\displaystyle {\sum }_{i=1}^M{\pi }_t^i}=1$ 对于所有 $t\in {\mathbb{N}}_0$ 。

将集合定义为 ${\mathcal{X}}_t\triangleq \left\{X_0,X_1,\cdots ,X_t\right\}$ ， ${\mathcal{Y}}_t\triangleq \left\{Y_0,Y_1,\cdots ,Y_t\right\}$ ， ${\mathcal{U}}_t\triangleq \left\{U_0,U_1,\cdots ,U_t\right\}$ 和 ${\Pi }_t\triangleq \left\{{\pi }_0,{\pi }_1,\cdots ,{\pi }_t\right\}$ ，分别表示状态历史、测量历史、控制历史和传输选择历史。

控制器在时间t可以接收到的信息是 ${\mathcal{F}}_t^c=\left\{{\mathcal{Y}}_t,{\mathcal{U}}_{t-1},{\Pi }_t\right\}={\mathcal{F}}_{t-1}^c\cup \left\{Y_t,U_{t-1},{\pi }_t\right\}$ ，其中 ${\mathcal{F}}_0^c=\left\{Y_0,{\pi }_0\right\}$ 。根据先前的定义，可以发现接纳控制策略可以视为一个映射： ${\mathcal{F}}_t^c\to {ℝ}^m$ 。我们用 ${\xi }_t^u$ 来表示这样的策略。另一方面，在时间t可用于能量传输选择器的信息是 ${\mathcal{F}}_t^e=\left\{{\mathcal{X}}_t,{\mathcal{Y}}_{t-1},{\mathcal{U}}_{t-1},{\Pi }_{t-1}\right\}={\mathcal{F}}_{t-1}^e\cup \left\{X_t,Y_t-1,U_t-1,{\pi }_t\right\}$ ，其中 ${\mathcal{F}}_0^e=\left\{X_0\right\}$ 。用于选择发送器的接纳策略也可以视为一个映射： ${\mathcal{F}}_t^e\to {\left\{0,1\right\}}^M$ 。我们用 ${\xi }_t^{\pi }$ 来表示这样的策略。因此，在一个时间步内的决策过程如下：

$\cdot \cdot \cdot \to {\mathcal{F}}_t^e\stackrel{{\xi }_t^{\pi }}{\to }{\pi }_t\to Y_t\to {\mathcal{F}}_t^c\stackrel{{\xi }_t^u}{\to }{U}_t\to X_{t+1}\to {\mathcal{F}}_{t+1}^e\to \cdot \cdot \cdot .$

由控制器和能量传输选择器共同最小化的成本函数是一个有限时间段的二次准则，给出为如下：

$J\left({\xi }^{\mathcal{U}},{\xi }^{\Pi }\right)=E\left[{\displaystyle \underset{t=0}{\overset{T-1}{\sum }}\left(X_t^{\top }{Q}_1{X}_t+U_t^{\top }R{U}_t+{\pi }_t^{\top }\wedge \right)}+X_T^{\top }{Q}_2{X}_T|U_t={\xi }_t^u\left({\mathcal{F}}_t^c\right),{\pi }_t={\xi }_t^{\pi }\left({\mathcal{F}}_t^e\right)\right]$ (3)

其中， $\wedge ={\left[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_M\right]}^{\top }$ ， $R\succ 0$ ， $Q_1\succcurlyeq 0$ ， $Q_2\succcurlyeq 0$ ， ${\xi }^{\Pi }$ 表示整个序列 $\left\{{\xi }_0^{\pi },{\xi }_1^{\pi },\cdots ,{\xi }_{T-1}^{\pi }\right\}$ ，类似地， ${\xi }^{\mathcal{U}}$ 也类似定义。

3. 最优控制和能量选择

3.1. 基于分离原理的最优控制

为了解决前一节提出的问题，我们需要找到最小化可接受策略中成本函数(3)的最优映射 ${\xi }^{{\mathcal{U}}^{*}}$ 和 ${\xi }^{{\Pi }^{*}}$ ：

$\left({\xi }^{{\mathcal{U}}^{*}},{\xi }^{{\Pi }^{*}}\right)=\underset{{\xi }^{\mathcal{U}},{\xi }^{\Pi }}{\arg \min }J\left({\xi }^{\mathcal{U}},{\xi }^{\Pi }\right).$ (4)

与 [6] [14] 中的基于传输反馈的控制方法不同，我们将在时间t传输 $W_{t-1}$ 而不是 $X_t$ 。容易发现 $W_{t-1}$ 可以很容易地从 $X_t$ 、 $X_{t-1}$ 和 $U_{t-1}$ 的值计算得出。

现在让我们定义 ${\hat{X}}_t=E\left[X_t|{\mathcal{F}}_{t-1}^c\right]$ ，称为 $X_t$ 的预测； ${\tilde{X}}_t=E\left[X_t|{\mathcal{F}}_t^c\right]$ ，称为 $X_t$ 的更新。因此，我们记 ${\hat{\omega }}_t\left({\pi }_{t+1}\right)=E\left[W_t|{\mathcal{F}}_{t+1}^c\right]$ 。

利用(1)，并且 $U_t$ 是 ${\mathcal{F}}_t^c$ 可测的，所以可以得到

${\hat{X}}_{t+1}=A{\tilde{X}}_t+B{U}_t$ (5)

${\tilde{X}}_t=E\left[X_t|{\mathcal{F}}_t^c\right]=E\left[A{X}_{t-1}+B{U}_{t-1}+W_{t-1}|{\mathcal{F}}_t^c\right]=A{\tilde{X}}_{t-1}+B{U}_{t-1}+{\hat{\omega }}_{t-1}\left({\pi }_t\right)={\hat{X}}_t+{\hat{\omega }}_{t-1}\left({\pi }_t\right).$ (6)

让我们定义误差 ${\Delta }_t=X_t-{\tilde{X}}_t$ ，则有

${\Delta }_{t+1}=A{\Delta }_t+W_t-{\hat{\omega }}_t=\cdot \cdot \cdot =A^{t+1}{\Delta }_0+{\displaystyle {\sum }_{k=0}^t{A}^{t-k}}\left(W_k-{\hat{\omega }}_k\right)$ (7)

其中 ${\Delta }_0=W_{-1}-{\hat{\omega }}_{-1}\left({\pi }_0\right)$ 。状态估计误差 ${\Delta }_t$ 通过变量 $\left\{{\hat{\omega }}_{-1},\cdots ,{\hat{\omega }}_{t-1}\right\}$ 依赖于序列 $\left\{{\pi }_0,\cdots ,{\pi }_t\right\}$ 。它不依赖于控制策略 ${\xi }^{\mathcal{U}}$ 。

然而，在传输过程中发生数据包丢失时，控制器无法接收到 ${\hat{\omega }}_t$ ，我们有以下函数：

${\tilde{X}}_t=\{\begin{array}{lll}g\left({\tilde{X}}_{t-1}\right),\hfill & \hfill & \gamma \left(t\right)=0\hfill \\ {\tilde{X}}_t,\hfill & \hfill & \gamma \left(t\right)=1\hfill \end{array}$

其中 $g\left(X\right)\triangleq AX+BU$ 。显然， ${\tilde{X}}_t$ 的值包含在一个可数无限集合中： $\left\{{\tilde{X}}_t,g\left({\tilde{X}}_{t-1}\right),g^2\left({\tilde{X}}_{t-2}\right),\cdots \right\}$ 。我们可以采用随机变量 ${\tau }_t$ 来表示从上次成功传输到时间t的持续时间，即

${\tau }_t=t-\max \left\{t^{*}:\gamma \left(t^{*}\right)=1,0\le t^{*}\le t\right\},$ (8)

我们有 ${\tilde{X}}_t=g^{{\tau }_t}\left({\tilde{X}}_{t-{\tau }_t}\right)$ 。

上述分析暗示了控制器和发送器选择之间的分离结构。接下来，我们将正式展示出这个问题的分离原理的出现。与成本函数(3)相关联，让我们定义值函数：

$V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)=\underset{{\xi }_t^u,{\xi }_t^{\pi }}{\min }E\left[{\displaystyle \underset{t=k}{\overset{T-1}{\sum }}\left(X_t^{\top }{Q}_1{X}_t+U_t^{\top }R{U}_t+{\pi }_t^{\top }\wedge \right)}+X_T^{\top }{Q}_2{X}_T|U_t={\xi }_t^u,{\pi }_t={\xi }_t^{\pi },t=k,\cdots ,T-1\right].$ (9)

通过使用动态规划原理，表达式(9)可以重写为：

$V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)=\underset{{\xi }_k^u,{\xi }_k^{\pi }}{\min }E\left[{\displaystyle \underset{t=k}{\overset{T-1}{\sum }}\left(X_k^{\top }{Q}_1{X}_k+U_k^{\top }R{U}_k+{\pi }_k^{\top }\wedge \right)}+V_{k+1}\left({\mathcal{F}}_{k+1}^c,{\mathcal{F}}_{k+1}^e\right)|U_k={\xi }_k^u,{\pi }_k={\xi }_k^{\pi }\right].$ (10)

如果 ${\xi }_k^{u^{*}}$ 和 ${\xi }_k^{{\pi }^{*}}$ 最小化(10)的右侧，那么可得 $U_k^{*}={\xi }_k^{u^{*}}\left({\mathcal{F}}_k^c\right)$ 、 ${\pi }_k^{*}={\xi }_k^{{\pi }^{*}}\left({\mathcal{F}}_k^e\right)$ 。从(9)中，我们也得到：

$\underset{{\xi }^{\mathcal{U}},{\xi }^{\Pi }}{\min }J\left({\xi }^{\mathcal{U}},{\xi }^{\Pi }\right)=E\left[V_0\left({\mathcal{F}}_0^c,{\mathcal{F}}_0^e\right)\right]$ (11)

在(11)中的期望是针对随机变量 ${\mathcal{F}}_0^c$ 和 ${\mathcal{F}}_0^e$ 进行的。为了保持后续分析中符号的简洁性，我们将 $V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)$ 写为：

$V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)=\underset{{\xi }_k^u,{\xi }_k^{\pi }}{\min }{E}_{{\mathcal{F}}_k}\left[\left(X_k^{\top }{Q}_1{g}^{{\tau }_k}{X}_k+U_k^{\top }R{U}_k+{\pi }_k^{\top }\wedge \right)+V_{k+1}\left({\mathcal{F}}_{k+1}^c,{\mathcal{F}}_{k+1}^e\right)\right]$

在这种情况下， $E_{{\mathcal{F}}_k}[\cdot ]$ 表示给定组合信息集 ${\mathcal{F}}_k=\left\{{\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right\}$ 的条件期望。请注意，信息集 ${\mathcal{F}}_k^e$ 包含状态 $X_k$ 的实现 $x_k$ 。以下定理表征了所有 $k=0,1,\cdots ,T-1$ 的最优策略 ${\xi }_k^{u^{*}}$ 。

定理1：在时间k给控制器的信息为 ${\mathcal{F}}_k^c$ 的条件下，能最小化(10)右侧的最优控制策略为 ${\xi }_k^{u^{*}}:{\mathcal{F}}_k^c\to {ℝ}^m$ ，其具有以下结构：

$U_k^{*}={\xi }_k^{u^{*}}\left({\mathcal{F}}_k^c\right)=-G_k{g}^{{\tau }_k}\left(E\left[X_{k-{\tau }_k}|{\mathcal{F}}_k^c\right]\right).$ (12)

更具体的表达形式如下：

$U_k^{*}=-\left[{\left(I-A\right)}^{-1}\left(I-A^{{\tau }_k}\right)B+G_k^{-1}\right]A^{{\tau }_k}E\left[X_k|{\mathcal{F}}_k^c\right]$ (13)

对于所有的 $k=0,1,\cdots ,T-1$ ，

$\begin{array}{l}{G}_k={\left(R+B^{\top }{P}_{k+1}B\right)}^{-1}{B}^{\top }{P}_{k+1}A,\\ P_k=Q_1+A^{\top }{P}_{k+1}A-G_k^{\top }\left(R+B^{\top }{P}_{k+1}B\right)G_{k+1},\\ P_T=Q_2.\end{array}$ (14)

证明：为了简洁起见，我们将使用 $g^{{\tau }_k}$ 来代替 $g^{{\tau }_k}\left(x_{k-{\tau }_k}\right)$ ，并且使用 $g_{\Delta }^{{\tau }_k}$ 来代替 $g^{{\tau }_k}\left({\Delta }_{k-{\tau }_k}\right)$ 。该定理的证明基于动态规划原理。思路是验证与最优控制问题相关的值函数是

$V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)=g^{{\tau }_k}{}^{\top }{P}_k{g}^{{\tau }_k}+C_k+o_k$ (15)

其中， $x_k$ 是状态 $X_k$ 的实现， $P_k$ 如(14)所示，对于所有的 $k=0,1,\cdots ,T-1$ ，

$C_k=\underset{{\left\{{\xi }_t^{\pi }\right\}}_{t=k}^{T-1}}{\min }{E}_{{\mathcal{F}}_k^e}\left[{\displaystyle \underset{t=k}{\overset{T-1}{\sum }}{g}_{\Delta }^{{\tau }_t}{}^{\top }}{H}_t{g}_{\Delta }^{{\tau }_t}+{\pi }_t^{\top }\wedge \right].$ (16)

矩阵 $H_k\in {ℝ}^{n\times m}$ 和标量 $o_k$ 由以下给出：

$\begin{array}{l}{H}_k=G_k^{\top }\left(R+B^{\top }{P}_{k+1}B\right)G_k,\\ o_k=o_{k+1}+tr\left(P_{k+1}\mathcal{W}\right),\\ o_T=0.\end{array}$ (17)

可以验证， $V_{T-1}\left({\mathcal{F}}_{T-1}^c,{\mathcal{F}}_{T-1}^e\right)$ 确实具有形式(15)。为了验证(15)在时间k也成立，我们使用反向归纳，并假设(15)对某个时间 $k+1$ 成立。为此我们得到：

$V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)=\underset{{\xi }_k^u,{\xi }_k^{\pi }}{\min }{E}_{{\mathcal{F}}_k}\left[\left(g^{{\tau }_k}{}^{\top }{Q}_1{g}^{{\tau }_k}+U_k^{\top }R{U}_k+{\pi }_k^{\top }\wedge \right)+g^{{\tau }_{k+1}}{}^{\top }{P}_{k+1}{g}^{{\tau }_{k+1}}+C_{k+1}+o_{k+1}\right].$

利用方程(1)和(14)，我们可以得到：

$V_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)=\underset{{\xi }_k^u,{\xi }_k^{\pi }}{\min }{E}_{{\mathcal{F}}_k}\left[{\Vert U_k+G_k{g}^{{\tau }_k}\Vert }_{\left(R+B^{\top }{P}_{k+1}B\right)}^2+g^{{\tau }_k}{}^{\top }{P}_k{g}^{{\tau }_k}+{\pi }_k^{\top }\wedge )+tr\left(P_{k+1}\mathcal{W}\right)+C_{k+1}+o_{k+1}\right].$ (18)

最小化(18)的最优控制 $U_k^{*}$ 是：

$U_k^{*}={\xi }_k^{u^{*}}\left({\mathcal{F}}_k^c\right)=-G_k{g}^{{\tau }_k}\left(E\left[X_{k-{\tau }_k}|{\mathcal{F}}_k^c\right]\right).$ (19)

在(18)中代入来自(19)的最优控制后，我们可以得到：

$\begin{array}{l}{V}_k\left({\mathcal{F}}_k^c,{\mathcal{F}}_k^e\right)\\ =\underset{{\xi }_k^{\pi }}{\min }{E}_{{\mathcal{F}}_k^e}\left[g_{\Delta }^{{\tau }_k}{}^{\top }\left(G_k^{\top }\left(R+B^{\top }{P}_{k+1}B\right)G_k\right)g_{\Delta }^{{\tau }_k}+{\pi }_k^{\top }\wedge +C_{k+1}\right]+g^{{\tau }_k}{}^{\top }{P}_k{g}^{{\tau }_k}+tr\left(P_{k+1}\mathcal{W}\right)+o_{k+1}\\ =\underset{{\xi }_k^{\pi }}{\min }{E}_{{\mathcal{F}}_k^e}\left[g_{\Delta }^{{\tau }_k}{}^{\top }{H}_k{g}_{\Delta }^{{\tau }_k}+{\pi }_k^{\top }\wedge +C_{k+1}\right]+g^{{\tau }_k}{}^{\top }{P}_k{g}^{{\tau }_k}+o_k\\ =g^{{\tau }_k}{}^{\top }{P}_k{g}^{{\tau }_k}+C_k+o_k.\end{array}$

因此，值函数确实具有形式(15)，而时间 $k=0,1,\cdots ,T-1$ 处的最优控制由(19)给出。

[注] 1：分离控制问题的最优反馈控制器由 [5] 中的定理1给出，它表明如果策略满足 [5] 中方程(4)的结构，则存在一个分离原理。在本文中，方程(14)与 [5] 中方程(4)的结构完全相同，这表明我们提出的最优控制策略满足分离原理。

最优控制在 ${\tilde{X}}_k$ 中是线性的，最优增益是 $-G_k$ ，可以在不知道 ${\xi }^{{\Pi }^{*}}$ 的情况下离线计算。与 [13] 不同，本文考虑了延迟： ${\tau }_t=t-\max \left\{t^{*}:\gamma \left(t^{*}\right)=1,0\le t^{*}\le t\right\}$ 。在延迟存在的情况下，控制器可用的信息将受到影响，因为某些测量到达将被延迟，从而状态估计将受到影响。定理1考虑了延迟，并为这种情况提供了最优控制器结构： $U_k^{*}=-\left[{\left(I-A\right)}^{-1}\left(I-A^{{\tau }_k}\right)B+G_k^{-1}\right]A^{{\tau }_k}E\left[X_k|{\mathcal{F}}_k^c\right]$ 。

3.2. 最佳能量选择和MDP

上述解决过程让人联想到马尔可夫决策过程(MDP)。接下来，我们将构建一个新的状态空间 $\mathcal{S}$ 和一个新的动作空间 $\mathcal{A}$ ，以创建一个标准的MDP问题。在每个时间t，MDP的状态被表示为 $s_t=\left({\tau }_{t-1},b_t\right)$ ，其取值范围是状态集合 $\mathbb{S}={\mathbb{Z}}_{+}\times \left[0,C\right]$ 。将 $\mathbb{A}=\left\{0,p_t\left(1\right),\cdots ,p_t\left(M\right)\right\}$ 表示为传输能量动作集，将 $\mathbb{A}\left(s\right)$ 表示为状态 $s\in \mathbb{S}$ 的可接受动作集。

定义 $Z_t\triangleq X_t{X}_t^{\top }$ ，如果发生数据包丢失，则 ${\tilde{Z}}_t=\widetilde{X_t}{\widetilde{X_t}}^{\top }$ 、 $Z_t=A{\tilde{Z}}_t{A}^{\top }+\mathcal{W}$ 。因此，一个阶段的奖励是：

$r\left(s_t,p_t\right)=\text{Tr}\left[f^{{\tau }_{t-1}}\left(Z_{t-1-{\tau }_{t-1}}\right)\right]$ (20)

其中 $f\left(Z_t\right)\triangleq A{Z}_t{A}^{\top }+\mathcal{W}$ ，而(20)与传输能量动作 $p_t$ 无关。对于当前状态 $s_t$ ，选择器在时间t选择动作 $p_t=p_{s_t}\left(i\right)\le b_t$ ，并获得奖励 $r\left(s_t,p_t\right)$ ，然后进入时间 $t+1$ 。根据(2)，如果时间t的状态之一是 ${\tau }_{t-1}$ ，那么时间 $t+1$ 的状态 ${\tau }_t$ 的值只能在两个值之间选择：以概率 $1-{\gamma }_t$ 选择0；以概率 ${\gamma }_t$ 选择 ${\tau }_{t-1}+1$ 。因此，MDP的状态转移概率可以写成：

$t\left(s_{t+1}|s_t,p_t\right)=t\left({\tau }_t|s_t,p_t\right)\times t\left(b_{t+1}|s_t,p_t\right),$ (21)

其中 $t\left({\tau }_t|s_t,p_t\right)$ 和 $t\left(b_{t+1}|s_t,p_t\right)$ 的定义与 [10] 中相同。

利用马尔可夫决策，前面的成本函数可以重写为：

$J\left(\mathcal{U},\Pi \right)=J\left(s,{\xi }^{\pi }\right)=E\left[{\displaystyle \underset{t=0}{\overset{T}{\sum }}r}\left(s_t,p_t\right)\right]$ (22)

其最优值为 $J\left(s,{\xi }^{{\pi }^{*}}\right)={\inf }_{{\xi }^{\pi }\in \Pi }J\left(s,{\xi }^{\pi }\right)$ 。

寻找最优策略 ${\xi }^{{\Pi }^{*}}$ 的问题可以通过一个MDP来解决。将使用策略 ${\xi }^{\pi }\in \Pi$ 的每个状态在状态空间 $\mathbb{S}$ 中的期望成本表示为一个函数 $V_{{\xi }^{\pi }}:\mathbb{S}\to ℝ$ 。因此，最优值可以通过贝尔曼方程( [15] , Sec. 8.4.1)解决，如下所示：

$J\left(s,{\xi }^{{\pi }^{*}}\right)+V_{{\xi }^{\pi }}\left(s,{\xi }^{\pi }\right)=\underset{p_t\in \mathbb{A}}{\min }\left\{r\left(s,p_t\right)+{\displaystyle \underset{s^{\prime }\in \mathbb{S}}{\sum }t}\left(s^{\prime }|s,p_t\right)V_{\pi }\left(s^{\prime }\right)\right\}.$ (23)

因此，最优选择策略 ${\xi }^{{\pi }^{*}}$ 可以通过以下方式获得：

${\xi }^{{\pi }^{*}}=\arg \underset{p_t\in \mathbb{A}\left(s\right)}{\min }\left\{r\left(s,p_t\right)+{\displaystyle \underset{s^{\prime }\in \mathbb{S}}{\sum }t}\left(s^{\prime }|s,p_t\right)J_{\pi }\left(s^{\prime }\right)\right\},$

接下来，我们将证明这个策略的存在。

定理2：存在最优确定性稳态策略 ${\xi }^{{\pi }^{*}}\in \Pi$ ，满足：

$J\left(s,{\xi }^{{\pi }^{*}}\right)\le J\left(s,{\xi }^{\pi }\right),\forall s\in \mathbb{S},\forall {\xi }^{\pi }\in \Pi ,$ (24)

通过解决最优贝尔曼方程(23)，我们可以获得最优策略 ${\xi }^{{\pi }^{*}}$ 。

证明：让我们考虑相同的策略 ${\xi }^{\pi }$ ，让 $\upsilon$ 是一个正常数，使得 $Z\le \upsilon I$ 和 $\mathcal{W}\le \upsilon I$ 。定义一个函数 $\phi \left(X\right)=AX{A}^{\top }+\upsilon I$ 。因此， $f^{{\tau }_t}\left(Z_{t-{\tau }_t}\right)\le {\phi }^{{\tau }_t}\left(\upsilon I\right)\le \upsilon {\displaystyle \underset{i=0}{\overset{{\tau }_t}{\sum }}{A}^i}{\left(A^{\top }\right)}^i$ ，由此得到 $\text{Tr}\left(f^{{\tau }_t}\left(Z_{t-{\tau }_t}\right)\right)\le \upsilon {\displaystyle \underset{i=0}{\overset{{\tau }_t}{\sum }}{\left(\rho \left(A\right)\right)}^{2i}}$ ，其中 $\rho$ 表示矩阵的谱半径。此外，让我们定义：

$M\left(s\right)=M\left({\tau }_{t-1},b_t\right)=\eta {\displaystyle \underset{i=0}{\overset{{\tau }_{t-1}}{\sum }}{\left(\rho \left(A\right)\right)}^{2i}},$

其中 $\eta =\upsilon /\left(1-{\gamma }_{\max }{\rho }^2\left(A\right)\right)>0$ ，并且 ${\gamma }_{\max }={\max }_{k\in \mathbb{Z}}\left\{{\gamma }_t\right\}$ 。存在非负整数 $N_1$ 和 $N_2$ ，使得 $\rho {\left(A\right)}^{2\left(N_1+1\right)}\ge 1/\left({\gamma }_{\max }-{\gamma }_{N_1}\right)$ 且 $N_2\ge p_t$ 。

对于 ${\tau }_{t-1}>N_1,b_t>N_2$ ，动作是 $0<p_t\le b_t$ ，那么可得：

$\begin{array}{l}{\displaystyle \underset{j\in \mathbb{S}}{\sum }t}\left(j|s,\pi \left(s\right)\right)M\left(j\right)-M\left(s\right)+r\left(s,\pi \left(s\right)\right)\\ \le \eta +\left({\gamma }_t\eta {\rho }^2\left(A\right)-\eta \right){\displaystyle \underset{i=0}{\overset{{\tau }_{t-1}}{\sum }}{\left(\rho \left(A\right)\right)}^{2i}}+\upsilon {\displaystyle \underset{i=0}{\overset{{\tau }_{t-1}}{\sum }}{\left(\rho \left(A\right)\right)}^{2i}}\\ =\eta +\left({\gamma }_t\eta {\rho }^2\left(A\right)-\eta +\upsilon \right){\displaystyle {\sum }_{i=0}^{{\tau }_{t-1}}{\left(\rho \left(A\right)\right)}^{2i}}.\end{array}$

由于 $\eta =\upsilon /\left(1-{\gamma }_{\max }{\rho }^2\left(A\right)\right)$ ，我们有 ${\gamma }_t\eta {\rho }^2\left(A\right)-\eta +\upsilon \le 0$ 。从 $\rho {\left(A\right)}^{2\left(N_1+1\right)}\ge 1/\left({\gamma }_{\max }-{\gamma }_{N_1}\right)$ ，可得 $\eta +\left({\gamma }_{N_1}\eta {\rho }^2\left(A\right)-\eta +\upsilon \right){\left(\rho \left(A\right)\right)}^{2N_1}\le 0$ 。因此，根据 [16] 中的Assumptions和Theorem，上述定理成立。

4. 总结

在这项工作中，我们考虑了一个经典的基于能量传输成本的LQG问题，在该模型中需要选择一个最优的能量传输选择器，以最小化传输和控制性能的综合成本。通过求解与LQG问题相关的经典黎卡蒂方程，我们计算了最优控制增益，并证明了最优控制器具有分离原理。通过建立一个马尔科夫决策过程，我们也证明了通过求解一个贝尔曼方程可以得到最优选择器。在今后的研究中，我们将考虑从能量选择器到无线的数据包丢失现象，这在实际问题中也具有重要意义。