检验回归模型拟合优度方法（论文推荐林东方）

检验回归模型拟合优度方法（论文推荐林东方）基金项目：湖南省教育厅科研项目(18C0312)；湖南省科技厅重大专项(2018GK205)；国家自然科学基金(41531068；41574006；41674012)；湖南科技大学科研项目(CXTD004)收稿日期：2019-04-23；修回日期：2019-10-23均方误差意义下的正则化参数二次优化方法林东方1 朱建军2 付海强2 张兵21.湖南科技大学地理空间信息技术国家地方联合工程实验室 湖南 湘潭 411201;2.中南大学地球科学与信息物理学院 湖南 长沙 410083

《测绘学报》

构建与学术的桥梁 拉近与权威的距离

视频分享：长征五号B火箭首飞成功，复制以下链接打开抖音

长征五号B火箭首飞成功 #长征五号b火箭首飞 #空间站 https://v.douyin.com/KV6WFw/ 复制此链接，打开【抖音短视频】，直接观看视频！

均方误差意义下的正则化参数二次优化方法

林东方¹ 朱建军²

付海强² 张兵²

1.湖南科技大学地理空间信息技术国家地方联合工程实验室 湖南 湘潭 411201;2.中南大学地球科学与信息物理学院 湖南 长沙 410083

收稿日期：2019-04-23；修回日期：2019-10-23

基金项目：湖南省教育厅科研项目(18C0312)；湖南省科技厅重大专项(2018GK205)；国家自然科学基金(41531068；41574006；41674012)；湖南科技大学科研项目(CXTD004)

第一作者简介：林东方(1986-) 男 博士 讲师 研究方向为数据处理理论与方法及PolInSAR应用。E-mail:lindongfang223@163.com

通信作者：朱建军 E-mail：zjj@csu.edu.cn

摘要：Tikhonov正则化法是大地测量中应用最为广泛的病态问题解算方法之一。影响正则化法解算效果的重要因素是正则化参数，然而，最优正则化参数的确定一直是正则化解算的难题，如L曲线法确定的正则化参数具有稳定性好、可靠性高的优点，但存在过度平滑问题，导致正则化法对模型参数估值精度改善较小。本文从均方误差角度分析了正则化参数对模型参数估计质量的影响。基于奇异值分解技术，提出了由模型参数投影值分块计算均方误差的方法，避免了均方误差迭代计算，并基于均方误差最小准则给出了正则化参数优化方法，实现了对L曲线正则化参数的优化。数值模拟试验与PolInSAR植被高反演试验结果表明，正则化参数优化方法有效改善了正则化法解算效果，提高了模型参数估计精度。

关键词：病态问题 正则化方法 正则化参数 均方误差 L曲线

Optimization of regularization parameter based on minimum MSE

LIN Dongfang¹ ZHU Jianjun² FU Haiqiang² ZHANG Bing²

1.National-Local Joint Engineering Laboratory of Geo-Spatial Information Technology Hunan University of Science and Technology Xiangtan 411201 China;2.School of Geosciences and Info-Physics Central South University Changsha 410083 China

Foundation support: The Research Project of Education Department of Hunan Province (No. 18C0312); The Provincial Key Research and Development Program of Hunan (No. 2018GK2015); The National Natural Science Foundation of China (Nos. 41531068; 41574006; 41674012); The Research Program of Hunan University of Science and Technology (No. CXTD004)

First author: LIN Dongfang(1986—) male PhD lecturer majors in surveying adjustment and PolInSAR application E-mail:lindongfang223@163.com.

Corresponding author: ZHU Jianjun E-mail: zjj@csu.edu.cn.

Abstract: Tikhonov regularization method is widely used in geodesy for ill-posed problems. The regularization parameter is an important factor for regularization method to solve the ill-posed problem. However it is very difficult to determine an optimal regularization parameter. L-curve method is proposed to determine the feasible regularization parameter which is well known to be a stable and reliable method. However the extensive application researches show that the regularization parameter determined by L-curve method often leads to oversmoothed results. As a result the regularization method cannot effectively improve the estimation accuracy of model parameters. Concerning this issue this paper analyzes the effectiveness of regularization parameter on MSE (mean square error) of regularized estimation. Then an MSE calculation method is proposed by using SVD (singular value decomposition) technology. In the method the MSE is divided into several parts that correspond to the singular values. Therefore the iterative calculation of MSE is avoided and the reasonable regularization parameter can be determined part to part. Using the reliable parts of MSE the most useful regularization parameter can be determined to optimize the L-curve determined regularization parameter. Finally the regularization parameter optimization method is proposed. Numerical example and PolInSAR vegetation inversion experiment are carried out to demonstrate the effectiveness of the regularization parameter optimization method. The results show that the regularization parameter optimization method can greatly improves the model parameter estimation of regularization method.

Key words: ill-posed problem regularization method regularization parameter mean square error L-curve

病态问题导致模型参数估计对观测数据误差极度敏感，观测数据中的微小误差即会引起模型参数估值的巨大误差，严重影响模型参数的估计精度。大地测量中的地球重力场测量，GPS空间测量、InSAR地表测量等应用领域常会出现病态问题，合理可靠地处理病态问题成为大地测量数据处理的重要研究内容^[1-3]。

解决病态问题的关键在于消除或减弱病态函数模型对模型参数估计的影响。文献[4]提出的解算病态问题的正则化方法，是目前应用最为广泛的方法之一。影响正则化方法解算效果的关键是稳定泛函与正则化参数的选择。稳定泛函的选择多依据模型参数的先验信息^[5-7]，以此构建的稳定泛函可有效补充观测信息，改善模型结构，具有较好的可行性和有效性^[8-9]。而先验信息无法获得时，稳定泛函常表示为模型参数的二范约束^[10-11]，该方式无须先验信息，具有较好的普适性，但对正则化参数的依赖性较高。针对正则化参数确定问题，国内外学者从不同角度提出了多种正则化参数确定方法。文献[12]从统计学的角度提出了确定正则化参数的GCV(generalized cross-validation)法，该方法通过交叉验证的方式确定正则化参数使观测值残差平方和最小。文献[13—14]在计算方式与计算效率上对GCV法进行了改进。然而由于病态性的影响，以观测值残差平方和最小作为正则化参数确定准则，难以保证模型参数的估计质量。文献[15]通过分析正则化估计的拟合度与平滑度关系，提出了确定正则化参数的L曲线法。L曲线法确定的正则化参数具有较好的稳定性，但确定的正则化参数常存在过度平滑的问题^[16]。文献[17—18]从改善模型参数估计质量的角度，提出了基于均方误差最小准则的正则化参数确定方法。文献[19—20]分析了正则化方法相较于无偏估计方法在病态问题解算中的优势，验证了正则化方法在均方误差上优于无偏估计方法。文献[21]从降低参数估值均方误差的角度提出了偏差改正的正则化方法，进一步改善了模型参数的正则化估计。正则化法为有偏估计方法，其估值均方误差包含方差与偏差两个部分，明确反映了模型参数的估计质量，基于均方误差最小准则改善正则化估计，理论更为严密，有利于平衡模型参数估计稳定性与可靠性。但均方误差的计算需要模型参数真值，以估值代替真值迭代计算均方误差^[22]，容易陷入局部最优或不收敛，限制了均方误差意义下正则化方法的改进效果。

正则化参数的选择对于正则化方法至关重要，常用的正则化参数确定方法，从不同的分析角度提出，各具优势，但均难以给出最优的正则化参数^[23-24]。均方误差意义下正则化参数的确定体现了估计精度与偏差的折中，理论依据更为直观高效。本文研究利用奇异值分解技术分析均方误差计算过程，提出均方误差按奇异值大小分块计算方法，避免均方误差迭代计算与错误计算，基于均方误差最小准则实现正则化参数的优化，从而改善正则化参数有效性与可靠性，提高模型参数估计精度。

1 正则化参数优化方法1.1 正则化方法

病态问题严重影响了模型参数的估计质量，常规估计手段已难以获得参数的有效估值。为了减弱病态性影响，Tikhonov提出了解算病态问题的正则化方法，该方法在常规最小二乘估计基础上引入稳定泛函与正则化参数，以改善模型参数估计稳定性^[4]

(1)

式中，V=AX-L，表示观测值残差向量；L为观测值向量；X表示未知模型参数；P为权重矩阵；α表示正则化参数；R表示正则化矩阵；X^TRX为稳定泛函，表示未知参数间存在的函数关系。在模型参数存在已知的先验信息时，先验信息可通过稳定泛函引入模型参数估计中。而在无法获得先验信息时，稳定泛函常表示为X^TX，正则化矩阵为单位矩阵，此时，正则化法的模型参数估值为

(2)

式中，

I表示单位矩阵。由于不同先验信息构造出的正则化矩阵有所不同，本文主要考虑更具一般性的正则化矩阵为单位阵时的正则化方法。

1.2 正则化参数影响

在正则化矩阵为单位矩阵时，影响正则化方法解算质量的关键因素是正则化参数的选择。基于L曲线法确定的正则化参数具有较好的稳定性与可靠性，是应用较为广泛的方法^[25]，但研究表明，由L曲线法确定的正则化参数存在过度平滑现象，降低了模型参数的估计精度^[16]。由于正则化方法是一种有偏估计方法，是均方误差优于无偏估计的方法^[20-21]。从降低均方误差的角度考虑优化正则化参数，对于改善L曲线法正则化参数过度平滑性，提高模型参数估计精度具有重要意义。

有偏估计均方误差表示为^[19-20]

(3)

式中，Mα表示均方误差；E表示期望运算；

Tα表示正则化模型参数估值方差；bα表示模型参数估值偏差。由式(3)可以看出，正则化法的均方误差应由方差和偏差组成。对正则化法的方差与偏差进行分析，由协方差传播律可得正则化估计方差-协方差矩阵为

(4)

式中，Cα表示方差-协方差矩阵；αL表示由L曲线法确定的正则化参数；对设计矩阵A进行奇异值分解

(5)

(6)

式中，U表示左奇异向量矩阵；S表示奇异值矩阵；G表示右奇异向量矩阵；γ表示奇异值，γ₁>γ₂>…>γn>0。对Cα求迹，可得正则化估计方差为

(7)

由式(7)可以看出，正则化法可有效降低模型参数的估值方差，方差降低程度与正则化参数α_L有关，正则化参数越大，方差越小，反之，正则化参数越小，方差越大。

由式(2)计算正则化估计偏差为

(8)

(9)

式中，g_i表示对应于奇异值γ_i的右奇异向量。由式(9)可以看出，正则化偏差同样与正则化参数有关，正则化参数越大，偏差越大，反之，正则化参数越小，偏差越小。

正则化参数与估计方差成反比，与估计偏差成正比，因此，在均方误差意义下，存在一个最优的正则化参数，使正则化估计的均方误差最小。通过式(3)、式(7)以及式(9)可计算出不同正则化参数时的均方误差，进而确定出均方误差最小时的正则化参数。然而，由式(9)可知，偏差的计算需要获知未知模型参数的真值，在实际应用中，模型参数真值是未知的，且受病态性影响，模型参数的可靠估值也难以获得，以不可靠估值代替真值计算偏差，常导致均方误差计算错误，无法确定出最小均方误差以及相应的正则化参数。

1.3 基于均方误差最小准则的正则化参数优化方法

由式(9)可以看出，若准确估计出模型参数在各特征向量方向上的投影值，即可有效计算均方误差。由最小二乘估计可得投影值的估值为

(10)

式中，g_i表示对应于奇异值γi的右奇异向量，ui为对应的左奇异向量。由协方差传播律可得投影值的估计方差

(11)

由式(11)可见，

综合分析式(7)、式(9)与正则化参数、奇异值的相互影响关系，由式(7)可知，在奇异值较小时，较小的正则化参数即可较大程度地降低估计方差，在奇异值接近于0时，γi²/(γi² αL)²值也接近于0，那么方差也几近为0。由式(9)可见，在奇异值较小时，αL²/(γi² αL)²接近于1，引入偏差大小主要由模型参数投影值决定。因此，对于较小的奇异值，正则化参数对方差与偏差的影响也相对较小。

综上所述，针对设计矩阵不同大小奇异值，将均方误差按奇异值大小分块计算，利用较大奇异值部分的可靠的均方误差计算值，依据均方误差最小准则，可有效对已确定的正则化参数进行优化，从而提高模型参数估计精度。以优化L曲线正则化参数为基础，正则化参数优化方法具体流程如下：

(1) 利用L曲线法确定正则化参数α_L，以

γi² αL)²。记作：ML=mL1 mL2 … mLn。

(2) 利用

αi，而后计算各奇异值对应的均方误差，即：

αi)²。记作：MS= [mS1 mS2 … mSn]。

(3) 对比ML与MS向量，理论上，在mL与mS相差较大时，表明L曲线法确定的正则化参数不能合理地降低均方误差，需对正则化参数进行优化。以mL/mS比值为判断指标可有效反映各奇异值对应的均方误差差异，比值较大时，表明由L曲线法确定的正则化参数未能高效地降低该部分均方误差，需对正则化参数进行优化。

然而，在奇异值较小时，

mL与mS的计算值可靠性较低；此外，奇异值较小时，正则化参数对均方误差的影响变小，

ML与MS均由最小二乘估计的

mL/mS比值也相差较小；判断指标阈值难以合理确定。但是，在奇异值较大时，

mL/mS比值则相差较大。因此，对正则化参数的优化仅在奇异值较大部分。

在奇异值较大时，由于mL与mS值受正则化参数与

mLi/mSi比值会呈现不规则波动，波峰越大，mL与mS差异越大，正则化参数优化后，均方误差改善程度越大，波谷越小，mL与mS差异较小，优化后均方误差变化较小，优化与否对结果影响也较小。由此表明，波峰越多，波动越大区域，正则化参数优化效果越好。因此，选取波峰较多，波动较大区域的奇异值对应的正则化参数进行优化。实际应用中，同一观测模型，相同未知参数下的观测方程系数矩阵奇异值变化情况相似，可容易确定出需进行正则化参数优化的奇异值部分。

以mLi/mSi比值波动情况选取奇异值进行正则化参数优化，最终的正则化参数优化为αm=diagα₁α₂…αiαL…αL。

(4) 将优化后的正则化参数引入正则化法，估计模型参数，得到模型参数正则化估值为

(12)

2 试验分析2.1 数值模拟试验分析

Fredholm第一类积分方程是数据处理中典型的病态问题，大地测量中的地球重力场反演实质上就是对该方程的解算。该积分方程表达为

(13)

式中，z(y)表示观测值。其核函数K(x y)表示为

(14)

精确解函数为

(15)

式中，β₁=-(x-0.3)²/0.03，β₂=-(x-0.7)²/0.03，x∈ 0 1，y∈ -2 2。以采样间隔Δx=Δy=0.02对式(13)积分方程进行离散化处理，得到201×51维设计矩阵以及1×51维未知参数。为验证算法的稳定性，在观测量z(y)中引入分布为N(0，2e-03)的高斯噪声干扰，模拟试验300次，得到未知参数估值的统计结果。

为便于对比分析，模型方程分别采用最小二乘估计方法、正则化方法进行解算。其中正则化方法包括L曲线法确定正则化参数的正则化法、最小MSE法确定正则化参数的正则化法^[17]、偏差改正的正则化法^[21]及正则化参数优化的正则化法。

图 1给出了由L曲线法及均方误差分块最小法确定正则化参数时，各奇异值对应的均方误差比值情况。从图中矩形区域可以看出，均方误差存在较大差异主要出现在前5个奇异值区域，即由L曲线法确定正则化参数时，模型参数正则化估值均方误差远大于由均方误差分块最小法确定正则化参数。由此可见，需对前5个奇异值对应的正则化参数采用均方误差分块最小法进行优化。各方法的模型参数估计误差情况如图 2所示。

图 1 各奇异值对应均方误差比值 Fig. 1 The mean square error ratio of each corresponded singular value

图选项

图 2 各方法模型参数估值均方误差 Fig. 2 Estimation error curve of each method

图选项

图 2给出了各方法300次试验的均方根误差变化情况。由图 2(b)可以看出，受病态性的影响，最小二乘估计RMSE(root mean square error)较大，已无法得到参数的有效估值。由图 2(a)可见，L曲线法确定正则化参数的正则化法，有效降低了模型参数估值RMSE，提高了估计精度，且具有较好的稳定性，但相比于其余3种基于均方误差最小准则的改进正则化法估计结果，模型参数估值RMSE明显较大，由此表明3种改进方法不同程度地改善了正则化估计质量。其中，偏差改正的正则化法参数估计结果整体优于最小MSE确定正则化参数的正则化法，而正则化参数优化的正则化法估计结果优于偏差改正法，为三者中最优估计。各方法的RMSE统计结果见表 1。

表 1 各方法模型参数估值RMSE统计结果Tab. 1 Statistical results of estimation errors

估计方法	最大RMSE	最小RMSE	平均RMSE	正则化单次用时/s
最小二乘估计	8 823.6	1 403.5	4 009.3	—
正则化法-L曲线	0.027 5	0.026 9	0.027 2	0.065
正则化法-最小MSE	0.018 7	0.012 3	0.015 3	0.098
正则化法-偏差改正	0.015 7	0.006 5	0.010 7	0.099
正则化法-正则化参数优化	0.011 6	0.005 2	0.006 8	0.094

表选项

由表中可得，正则化方法有效改善了最小二乘估计结果，降低了估计均方根误差。在正则化参数由L曲线法确定时，由其RMSE最大值、最小值以及平均值可以看出，正则化估计结果具有较好的稳定性，但相比于其余正则化方法，RMSE偏高，表明L曲线确定正则化参数存在过度平滑问题，影响了模型参数估计质量。3种基于均方误差最小准则对正则化方法的改进均有效提高了模型参数估计精度，其中，正则化参数优化方法表现最优，其RMSE统计值最小，且计算用时最少，效率最高。由此数值试验结果表明，新方法可有效改善正则化法模型参数估计结果。

2.2 PolInSAR植被高估计试验分析

由于受到基线长度以及观测几何条件的影响，利用PolInSAR数据进行植被高反演时，反演模型常出现病态问题^[26-27]，为了验证本文方法的可行性与有效性，选取了德国宇航局BioSAR2008项目的E-SAR P波段全极化数据进行植被高度反演试验。时间基线53 min，空间基线24 m，选用HH、HV、VV、HHpVV、HHmVV、opt1、opt2、opt3、PDHigh、PDLow 10种极化方式对应的复相干系数作为观测值，构建观测方程，进行植被高参数反演。

与数值模拟试验相同，本次试验依然采用最小二乘估计方法、正则化方法解算观测方程。其中正则化方法包括L曲线法确定正则化参数的正则化法、最小MSE法确定正则化参数的正则化法^[17]、偏差改正的正则化法^[21]及正则化参数优化的正则化法。

图 3给出了L曲线确定正则化参数与均方误差分块最小法确定正则化参数时，各奇异值对应均方误差比值情况。由图中矩形区域可见，前4个奇异值对应的均方误差比值波动较大，表明由L曲线确定的正则化参数在前4个奇异值区域，未能合理有效的降低均方误差，因此，利用均方误差分块最小法优化前4个奇异值对应的正则化参数。各方法的植被高反演结果如图 4所示。

图 3 各奇异值对应的均方误差比值 Fig. 3 The mean square error ratio of each corresponded singular value

图选项

图 4 反演结果 Fig. 4 Inversion results

图选项

图 4中，三阶段算法为PolInSAR植被高反演常用方法，其反演结果作为正则化法模型参数初值，LiDAR植被高反演结果具有较高的反演精度，可看作是模型参数的真值。对比图中不同方法的反演结果可见，L曲线确定正则化参数的正则化法的植被高反演结果优于三阶段法，3种基于均方误差最小准则的改进正则化法反演结果优于L曲线法确定正则化参数的正则化法，3种方法中，正则化参数优化的正则化法反演结果优于其余两者。为了定量分析不同反演结果，在图中均匀选取1550块样地，计算各方法的植被高反演均方根误差列于表 2。

表 2 不同方法植被高参数反演结果Tab. 2 Statistical results of estimation errors

分析指标	三阶段法	正则化法-L曲线	正则化法-最小MSE	正则化法-偏差改正	正则化法-正则化参数优化
RMSE/m	6.33	5.22	4.43	4.19	3.95
正则化单次用时/s	0.005	0.017	0.018	0.011

表选项

由表 2可以看出，L曲线确定正则化参数的正则化法植被高反演均方根误差相比于三阶段算法降低了17.5%，有效改善了三阶段法反演结果。而3种基于均方误差最小准则的改进方法反演结果相比于L曲线法，均方根误差分别下降了15.1%、19.7%及24.3%，有效改善了L曲线法反演结果。其中，正则化参数优化的正则化法反演结果最优。在计算效率上，相比于最小MSE法与偏差改正法，正则化参数优化法用时最少，计算效率有一定程度提高。对1550块样地的反演误差进行统计分析，统计结果如图 5所示。

图 5 样地植被高反演误差统计结果 Fig. 5 Statistical results of estimation error of each stand

图选项

三阶段算法的反演误差主要集中于-8~-5 m，L曲线-正则化法反演误差集中于-5~-2 m，最小MSE-正则化法反演误差集中于-4~-1 m，偏差改正-正则化法反演误差集中于-3~0 m，正则化参数优化-正则化法的反演误差集中于-2~1 m。由此可见，三阶段算法植被高反演结果存在严重的低估问题，采用正则化方法进行反演，低估问题得到了改善，其中正则化参数优化的正则化法相较于其他正则化法改善程度最大，反演误差期望值在-0.5 m。因此，样地反演误差统计结果进一步体现了正则化参数优化方法的可行性和有效性。

数值模拟试验与PolInSAR植被高反演试验结果表明，基于均方误差最小准则改进正则化方法，可有效实现模型参数估计质量的改善。均方误差最小法确定正则化参数及偏差改正法均是行之有效的正则化改进方法，两种方法均以模型参数初始估值为参数真值，通过迭代方法计算均方误差，实现均方误差最小化，然而受病态性影响，模型参数初值估计精度难以保证，影响了均方误差计算的可靠性，从而限制了正则化方法改善程度。正则化参数优化方法利用SVD分解技术分块计算均方误差，选取计算可靠的均方误差，基于最小化准则优化正则化参数，从而降低了参数初值影响，更为合理可靠的改善正则化解算质量。

3 结论

正则化方法是大地测量中应用最为广泛的病态问题解算方法之一。然而，正则化方法中，正则化参数的选择一直是影响正则化法解算效果的难题。常用的正则化参数确定方法从不同角度提出，但均难以获得最优的正则化参数。本文从降低模型参数估值均方误差的角度，提出了一种正则化参数优化方法。基于奇异值分解技术，将均方误差按奇异值大小分块计算，利用可准确计算的均方误差优化L曲线正则化参数，有效避免了迭代计算中参数初值不可靠对均方误差计算的影响，合理实现了模型参数估值均方误差的降低。数值模拟试验与PolInSAR植被高反演试验结果表明，对正则化参数的优化可有效改善正则化法解算质量，提高模型参数估计精度。

【引文格式】林东方 朱建军 付海强 等. 均方误差意义下的正则化参数二次优化方法. 测绘学报，2020，49(4)：443-451. DOI: 10.11947/j.AGCS.2020.20190148

宗敬文 李厚朴 边少锋 |《测绘学报（英文版）》（JGGS）精选论文

资讯 | 兴我家邦 专访院士李德仁

行业 | 北斗高精度监测技术助力预防边坡灾害

资讯 | 工程硕博培养模式将迎新变化，工程博士被特别关注

SCI论文经典词和常用句型

重温经典 | 宁津生：基于卫星加速度恢复地球重力场的去相关滤波法

权威 | 专业 | 学术 | 前沿微信、抖音小视频投稿邮箱 | song_qi_fan@163.com

微信公众号中搜索「测绘学报」，关注我们，长按上图二维码，关注学术前沿动态。

欢迎加入《测绘学报》作者QQ群： 751717395

进群请备注：姓名 单位 稿件编号