关于连续性Sylvester方程的广义Richardson迭代
On the Generalized Richardson Iteration of the Continuous Sylvester Equation
DOI: 10.12677/aam.2024.137310, PDF, HTML, XML, 下载: 11  浏览: 18 
作者: 蒋 兰:长沙理工大学数学与统计学院,湖南 长沙
关键词: 广义Richardson算法Sylvester方程松弛参数谱半径Generalized Richardson Iteration Sylvester Equation Relaxation Parameters Spectral Radius
摘要: 本文研究当系数矩阵AB是正半定矩阵,且它们至少有一个是正定时求解连续Sylvester方程的迭代解AX+XB=C的广义Richardson迭代。我们首先分析了求解这类Sylvester方程的广义理查森迭代的收敛性,然后推导了它的最小谱半径的上界以及参数ω的最佳值,通过于HSS方法的比较,强调了所提方法的有效性。
Abstract: In this paper, we study the generalized Richardson iteration for solving the continuous Sylvester equationAX+XB=C, where the coefficient matrices A and B are assumed to be positive semidefinite and at least one of them is positive definite. We first analyze the convergence of the generalized Richardson iteration for solving such a class of Sylvester equations, then derive the upper bound of the minimum spectral radius and the best value of the parameter ω, and emphasize the effectiveness of the proposed method by comparing it with the HSS method.
文章引用:蒋兰. 关于连续性Sylvester方程的广义Richardson迭代[J]. 应用数学进展, 2024, 13(7): 3241-3249. https://doi.org/10.12677/aam.2024.137310

1. 引言

矩阵方程的迭代算法研究经过经典迭代算法阶段到现代迭代算法阶段再到高级迭代算法阶段。由最初的Jacobi迭代法、Gauss-Seidel迭代法、Richardson迭代法到共轭梯度法、GMRES、BiCGStab、预处理子方法再到并行迭代算法、非线性迭代算法。从经典方法到现代高效算法的发展,反映了数值计算领域不断追求更高效、更稳定的数值方法的进程。这些方法不仅在科学计算中有重要应用,也在工程、金融和数据科学等领域发挥着关键作用。

求解Sylvester方程的方法有直接法和迭代法。常见的直接法是Bartels-Stewart方法[1]和Hessenberg-Schur方法[2],它们通常通过正交相似变换将矩阵AB转换为上三角或上Hessenberg形式,然后直接求解。这些方法主要适用于小规模问题。但是对于大型问题,直接求解方法计算量过大且数值不稳定,而迭代方法则具有数值稳定性且便于并行计算。现在对于大型稀疏Sylvester方程,一般采用迭代法求解。常见的方法为古典迭代法(如Smith迭代法[3]、ADI迭代等)和投影迭代法(如Krylov子空间法等)。另外,还有一类方法是利用Kronecker积将矩阵方程转化为大型线性方程组再求解,但这类方法计算量较大,一般是避免使用。

1845年,普鲁士数学家Jacobi提出了将矩阵方程Ax = b中的系数矩阵A分解为D + L + U的方法,其中D为对角阵,LU分别为严格下三角矩阵和严格上三角矩阵。这一分解形式衍生出了Jacobi迭代法。

D x k+1 =( L+U ) x k +b .

Gauss-Seidel迭代法同样对系数矩阵A进行了类似的分解,其迭代格式为:

( D+L ) x k+1 =U x k +b .

而Richardson迭代法并未对系数矩阵A做分解,其迭代格式为:

x k+1 =( IA ) x k +b= x k + r k .

随后,Richardson迭代法的收敛性能,人们主要通过引入松弛因子和采用预处理方法两种途径来实现。例如:文献[4] [5]引入了松弛因子 ω ,通过采用加权平均构建了逐次超松弛(SOR)迭代算法,显著提高了算法的收敛速度。文献[6]介绍了在系数矩阵为非奇异的M-矩阵或奇异的三对角M-矩阵的情况下,通过适当处理系数矩阵,再利用Gauss-Seidel迭代算法或Jacobi迭代算法,进一步加快了收敛速度。

在2011年,Bai在文献[7]中提出了求解连续Sylvester方程的Hermitian和反Hermitian分裂迭代法(HSS)。在2015年,基于Hermitian和反Hermitian分裂(HSS)迭代法,Li和Wu在文献[8]中提出了求解非Hermitian正定线性系统(Ax = b)的单步HSS迭代法(SHSS)。在2016年,Zeng等人在文献[9]中提出了一种求解复对称线性方程组(Ax = b)的参数化SHSS迭代方法。在近几年也有提出松弛版本的ADI迭代法(RADI)并分析其收敛性;构建非精确的ADI迭代法[10] (2020)年(IADI)并分析其收敛性;构建非精确的RADI迭代法(IRADI)并分析其收敛性等。

本文考虑连续Sylvester方程:

AX+XB=C (1.1)

其中, A C m×m ,BC,C C m×n 是给定的,要找到一个符合这个方程的矩阵 X C m×n 。并且系数矩阵满足以下条件:

1) 矩阵ABC都是大型稀疏矩阵;

2) 矩阵AB中至少有一个为非Hermitian矩阵;

3) 矩阵AB都是半正定,且其中至少有一个是正定矩阵;

众所周知,当A和−B不具有共同特征值的时方程(1.1)对于X具有唯一解。

在理论上,方程(1.1)等价于线性方程组

Ax=c (1.2)

这里的 A=IA+ B T I ,其中 B T 表示矩阵B的转置,xc分别表示矩阵XC的列向量, 表示Kronecker积。

受到前面迭代方法的启发,本章将提出广义Richardson迭代来求解矩阵方程(1.1)。

2. Richardson迭代

Richardson迭代法是一种数值计算方法,用于计算连续函数的导数或求解微分方程,该方法的基本思想是通过迭代,以逐步逼近目标函数的导数或微分方程的解。

这里考虑线性方程组 Ax=b ,这里 A R n×n ,且A为对称正定矩阵,设矩阵A的特征值为 0< λ min = λ 1 λ 2 λ 3 λ n1 λ n λ max ,对任意的 α>0 ,方程 Ax=b 等价于 x=( IαA )x+αb ,构造迭代:

x k+1 =( IαA ) x k +αb k=0,1,2, (2.1)

上述迭代为线性方程组 Ax=b 的Richardson迭代。考虑迭代格式的收敛性,等价于考虑迭代过程中误差的收敛性。

定理1

设方程组有精确解x,则:

x=( IαA )x+αb (2.2)

由(2.1)~(2.2)得:

e i+1 =( IαA ) e i ,   i=0,1,

则有:

e i =( IαA ) e i1 = ( IαA ) i e 0

假设A为实对称矩阵,则 B=IαA 为实对称矩阵,其特征值 λ i 为实数,特征向量 u i 两两正交,将误差在B特征向量构成的基上展开,有:

e i = j=1 n c j i u i = ( IαA ) i e 0 = ( IαA ) i j=i n c j 0 u i = j=1 n c j 0 λ j i u j ,

随着迭代过程的进行,误差逐渐收敛,应有:

1< λ j <1,i=1,2,,n,

即,

ρ( IαA )<1{ 1α λ min <1 λ min >0 1α λ max >10<α< 2 λ max

上式给出Richardson迭代的收敛条件: ρ( IαA )<1

3. 广义Richardson迭代

关于 AX+XB=C 的广义Richardson迭代,先将迭代格式化为:

ver( c )=( IA+ B T I )ver( x ) (3.1)

其中的 ω>0 ,这个迭代格式可写为:

X ( k+1 ) = X ( k ) +ω( CA X ( k ) X ( k ) B ) (3.2)

这就是广义Richardson迭代,其中 ω 是松弛参数,用 ω 取值控制Richardson迭代算法的收敛性和收敛速度。

4. 广义Richardson迭代的收敛性分析

设迭代矩阵为 G ω =IωU ,其中U为矩阵AB特征值和,其收敛半径为 ρ( IωU ) ,假设所有特征值为 u i  ,i=1,,n ,且都是实数,则 u min u i u max

然而,所有关于 G ω 的特征值 λ i 满足以下条件:

1ω u max λ i 1ω u min

特别地,如果 u min <0 u max >0 ,则至少有一个特征值大于1,因此对于任意 ω ρ( G ω )>1 。在这种情况下,方法总是会偏离一些初始猜测。

在给出广义Richardon迭代的收敛定理之前,我们回顾一下以下已知的结果:

引理1 ρ( AB )=ρ( BA ) ρ( AB )=ρ( A )ρ( B ) A,B C n×n

引理2:使 K C n×n λ j λ( K ) ,则 ρ[ ( αI+K ) 1 ( βIK ) ]= max 1jn | β λ j α+ λ j |

现在,我们给出广义Richardson迭代的收敛定理。

推论1

AB的特征值为正实数时,即 u min >0 ,当 ω= 2 u max + u min 时,(1.2.1)式收敛, G ω 的谱半径达到最小为 ρ= u max u min u max + u min

证明:当特征值都是正的,为了使方法收敛,必须满足以下条件:

1ω u min <1

1ω u max >1

第一个条件要求 ω>0 ,第二个条件要求 ω<2/ u max 。换句话说,该方法收敛于任何满足的标量 ω

0<ω< 2 u max

接下来讨论参数 ω 的最佳 ω 选择值是多少,也就是 ρ( G ω ) 最小的 ω 值是多少,关于 G ω 的谱半径为 ρ( G ω )=max{ | 1ω u min |,| 1ω u max | }

其中 ω 的函数如图1所示。由曲线可知,当斜率为正的曲线 | 1ω u max | 与斜率为负的曲线 | 1ω u min | 相交时, ω 值达到最佳。

( 1ω u min )=1ω u max ,

Figure 1. The curve of ρ( G ω ) about ω 

1. ρ( G ω ) 关于 ω  的曲线

ω opt = 2 u max + u min

将其替换为两条曲线中的一条,可以得到相应的最佳谱半径:

ρ opt = u max u min u max + u min

这个表达式显示了小特征值和大特征值存在的困难。对于实际问题,收敛速度可能非常小。此外,为了获得良好的收敛性,需要对特征值进行估计,以获得最优或接近最优的 ω ,这可能会造成困难。最后,由于 u max 可以很大,曲线 ρ( G ω ) ω 的最优值附近可以非常敏感。这些观测结果对于依赖于加速度参数的许多迭代方法都是常见的。

定理2

当特征值都为复数时,假设 u s = α s + β s i s=1( 1 )n 。是 G ω 的实部特征值,其中 α m = min 1jn { α j } α M = max 1jn { α j } β M = max 1jn { β j } Λ= min s { 2 α s / ( α s 2 + β s 2 ) } A= α m ( α M α m ) B=2 β M 2 ω * = 2 α M + α m ω 1 = α m α m 2 + β M 2

0<ω<Λ 时,广义Richardson迭代的收敛。

ω opt ={ ω 1 A B ω * A B

(1.2.2)迭代格式的谱半径上界达到最小,如下式:

min ω ρ( G ω ){ β M ( β M 2 + α m 2 ) 1/2 A B [ ( α M α m ) 2 +4 β M 2 ] 1/2 α M + α m A B

证明:

α m α s α M <1,s=1( 1 )n ,则 G ω 的特征值为:

λ s =( 1ω α s )+ω β s i,s=1( 1 )n

其中 | λ s |<1 ,则 ( 1ω α s ) 2 +ω β s 2 <1 ,其中谱半径为 ρ( G ω )= max s | λ s |= max s | ( 1ω α s )+ω β s i |

λ s 平方可得: | λ s | 2 = ( 1ω α s ) 2 +ω β s 2 = | 1ω α s | 2 + ω 2 | β s | 2

我们只对 ω>0 的情况感兴趣。设

max s | β s |= β M 0,

我们可得:

ρ 2 ( G ω )= max s { ( 1ω α s ) 2 + ω 2 β s 2 } max s { ( 1ω α s ) 2 + ω 2 β M 2 }

进一步可得到:

max s | 1ω α s |={ 1ω α m 0ω ω * ω α M 1 ω ω *

其中 ω * = 2 α M + α m

因此可得如下:

ρ 2 ( G ω ){ ( 1ω α m ) 2 + ω 2 β M 2 = g 1 ( ω ) 0ω ω * ( ω α M 1 ) 2 + ω 2 β M 2 = g 2 ( ω ) ω ω *

因此可得:

min ω ρ 2 ( G ω ){ min ω g 1 ( ω ) 0ω ω * min ω g 2 ( ω ) ω ω *

为了得到 min 0ω ω * g 1 ( ω ) min ω ω * g 2 ( ω ) 我们可通过对 g 1 ( ω ) g 2 ( ω ) 求导,当 ω ω 1 g 1 ( ω )0 ;当 ω ω 2 g 2 ( ω )0 ,其中

ω 1 = α m α m 2 + β M 2 ,

ω 2 = α M α M 2 + β M 2 .

1) 当 ω 1 ω * 时,即 α m ( α M α m ) 2 β M 2 时,则:

min 0ω ω * g 1 ( ω )= g 1 ( ω 1 )

ω 1 ω * 时,即 α m ( α M α m ) 2 β M 2 时,则:

min 0ω ω * g 1 ( ω )= g 1 ( ω * ) .

2) 由于 ω 2 ω * ,故 min ω ω * g 2 ( ω )= g 2 ( ω * )= g 1 ( ω * )

可得:

min ω ρ 2 ( G ω ){ g 1 ( ω 1 ) A B g 1 ( ω * ) A B

A= α m ( α M α m ) B=2 β M 2 .

进一步可得到:

min ω ρ( G ω ){ β M ( β M 2 + α m 2 ) 1/2 A B [ ( α M α m ) 2 +4 β M 2 ] 1/2 α M + α m A B

对于上述 min ω ρ( G ω ) 的上界,我们可以做如下的说明:

1) 如果 A B ,那么上界总是小于1。而且,等式成立——就是说:

min ω ρ( G ω )= β M ( β M 2 + α m 2 ) 1/2

α M +i β M G的特征值情况下,有 ω 1 = ω opt

2) 如果 A B α m α M >2 β M 2 β M 2 ,可得 ( α M α m ) 2 +4 β M 2 < ( α M + α m ) 2 然后我们也可以证明上界总是小于1。对此可以证明:

[ ( α M α m ) 2 +4 β M 2 ] 1/2 α M + α m <1 .

故在 α m +i β M α M +i β M G的特征值情况下,有 ω * = ω opt

5. 数值实验

在本节中,我们比较了HSS和广义Richardson方法的计算性能来说明单步迭代求解Sylvester方程(1)的有效性。

其中由广义Richardson迭代方法的格式可得以下的浮点运算:

R=CAXXB 2 m 2 n+2m n 2

X = X + ωR 2 n 2

得到最后的浮点运算次数是 f Ri ( m,n )=2 m 2 n+2m n 2 +2 n 2

在例子中的HSS算法是运用的Hermitian和反Hermitian分裂来迭代,其中的相关浮点运算如下:

第一步:将系数矩阵AB进行如下分裂:

A=H( A )+S( A ) m 2 ,

B=H( B )+S( B ) n 2 ,

第二步:

计算交替方向隐式:

( αI+H( A ) ) X k+ 1 2 + X k+ 1 2 ( βI+H( B ) )=( αIS( A ) ) X k + X k ( βIS( B ) )+C,

2 m 2 n+4mn+2m n 2 ,

( αI+S( A ) ) X k+1 +  X k+1 ( βI+S( B ) )= ( αIH( A ) ) X k+ 1 2 + X k+ 1 2 ( βIH( B ) )+C,

2 m 2 n+4mn+2m n 2 ,

得到最后的浮点运算次数是 f HSS ( m,n )=4 m 2 n+4m n 2 + m 2 + n 2 +4mn

则有如下:

f HSS ( m,n ) f Ri ( m,n ) = 4 m 2 n+4m n 2 + m 2 + n 2 +4mn 2 m 2 n+2m n 2 +2 n 2 .

在实际计算中,所有迭代都是从零矩阵开始,在MATLAB中以机器精度1016进行,当前残差矩阵的范数满足 ( R ,fr o ) / C 10 6 时停止。为了方便,在我们的数值实验中,我们分别用IT表示迭代步骤数,用CPU表示计算时间(以秒为单位),用 ω 表示实验发现的单步迭代迭代参数的局部最优值。

例1

我们考虑二维对流扩散方程 ( u xx + u yy )+σ( x,y ) u x +τ( x,y ) u y =f( x,y ) 在单位平方 ( 0,1 )×( 0,1 ) 上,具有dirichlet型边界条件,系数 σ τ 分别表示沿xy方向的速度分量,这里我们取 σ τ 为常数的情况。拉普拉斯算子 u xx + u yy 为一阶导数 u x u y 的不同的线性系统,自然等效于标准的Sylvester方程,在[11]中,描述了如何使用二阶有限中心差分算子对系数 σ τ 的任意值获得一般Sylvester方程 AX+XB=C ,当系数 σ τ 为常数时,AB是三对角Toeplitz矩阵,定义为:

A=tridiag( 1+ τh 2 ,2,1 τh 2 ) B=tridiag( 1+ σh 2 ,2,1 σh 2 )

其中步长 h= 1 n+1 ,矩阵A对应y方向离散化,矩阵B对应x方向离散化,如果 τ=σ ,则A = B

这里我们考虑Sylvester方程(1.1),矩阵 A,B R n×n 。参数 τ σ 取决于具有齐次Dirichlet边界条件

的对流扩散问题的性质。函数f定义为 f( x,y )= e x+y ,并测试了 τ σ h= 1 n+1 的不同值。在此例子中我们的AB阶数一样,则 f HSS ( m,n ) f Ri ( m,n ) =2 ,HSS的浮点运算大约是广义Richardson的两倍。随着阶数

n的增加,其运算时间和最优的 ω 如下表1所示,用广义Richardson迭代和HSS方法求解了本例中的方程。表1给出了我们在迭代次数(iter)和以秒为单位的CPU时间t(CPU)方面的实验总结,这些实验针对不同的参数 τ σ 以及矩阵的n阶。

Table 1. Performance of G-Richardson and HSS methods for the Example 1

1. 广义 Richardson迭代和HSS迭代的比较

G-Richardson

HSS

h = 1/(n + 1)

ω

IT

CPU

α

IT

CPU

τ = 10

σ = 100

0.04

0.138

56

0.0002

0.75

23

0.006

0.02

0.31

26

0.0003

0.53

30

0.041

0.01

0.251

109

0.0069

0.31

52

0.419

0.005

0.249

332

0.0813

0.15

104

4.39

τ = 1

σ = 100

0.04

0.13

53

0.0005

0.625

31

0.007

0.02

0.248

32

0.0003

0.5

40

0.042

τ = 1

σ = 100

0.01

0.252

106

0.004

0.26

76

0.631

0.005

0.25

320

0.085

0.19

104

4.044

τ = 50

σ = 0.1

0.04

0.251

85

0.0003

0.45

35

0.008

0.02

0.249

375

0.005

0.37

40

0.039

0.01

0.25

1411

0.073

0.17

88

0.685

0.005

0.249

5068

1.389

0.08

216

8.563

表1可知,无论当我们的系数 σ τ 取什么时,我们的广义Richasrdson迭代算法的运行时间远快于HSS算法。

6. 结论

本文给出了广义Richasrdson迭代算法中松弛参数选取的证明与研究,当选取最优的参数,运行时间与此迭代次数都会相对于少很多。当系数矩阵不是对称的时候与HSS算法进行了对比,数值实验表明:无论是收敛速度还是计算复杂度,广义Richardson算法解矩阵方程(1.1)的效果都好于HSS算法。

参考文献

[1] Bartels, R.H. and Stewart, G.W. (1972) Algorithm 432 [C2]: Solution of the Matrix Equation AX + XB = C [F4]. Communications of the ACM, 15, 820-826.
https://doi.org/10.1145/361573.361582
[2] Golub, G., Nash, S. and Van Loan, C. (1979) A Hessenberg-Schur Method for the Problem AX + XB= C. IEEE Transactions on Automatic Control, 24, 909-913.
https://doi.org/10.1109/tac.1979.1102170
[3] Wachspress, E.L. (2008) Trail to a Lyapunov Equation Solver. Computers & Mathematics with Applications, 55, 1653-1659.
https://doi.org/10.1016/j.camwa.2007.04.048
[4] Adams, L.M. (1950) Iterative Methods for Solving Partial Differential Equations of Elliptic Type. PhD Thesis, Harvard University.
[5] Frankel, S.P. (1950) Convergence Rates of Iterative Treatments of Partial Differential Equations. Mathematics of Computation, 4, 65-75.
https://doi.org/10.1090/s0025-5718-1950-0046149-3
[6] Gunawardena, A.D., Jain, S.K. and Snyder, L. (1991) Modified Iterative Methods for Consistent Linear Systems. Linear Algebra and its Applications, 154, 123-143.
https://doi.org/10.1016/0024-3795(91)90376-8
[7] Bai, Z., Golub, G.H. and Ng, M.K. (2003) Hermitian and Skew-Hermitian Splitting Methods for Non-Hermitian Positive Definite Linear Systems. SIAM Journal on Matrix Analysis and Applications, 24, 603-626.
https://doi.org/10.1137/s0895479801395458
[8] Li, C. and Wu, S. (2015) A Single-Step HSS Method for Non-Hermitian Positive Definite Linear Systems. Applied Mathematics Letters, 44, 26-29.
https://doi.org/10.1016/j.aml.2014.12.013
[9] Zeng, M. and Ma, C. (2016) A Parameterized SHSS Iteration Method for a Class of Complex Symmetric System of Linear Equations. Computers & Mathematics with Applications, 71, 2124-2131.
https://doi.org/10.1016/j.camwa.2016.04.002
[10] Liu, Z., Zhou, Y. and Zhang, Y. (2020) On Inexact Alternating Direction Implicit Iteration for Continuous Sylvester Equations. Numerical Linear Algebra with Applications, 27, e2320.
https://doi.org/10.1002/nla.2320
[11] Starke, G. and Niethammer, W. (1991) SOR for Ax − xB=C. Linear Algebra and Its Applications, 154, 355-375.
https://doi.org/10.1016/0024-3795(91)90384-9