多层感知机的数学模型（基于多层感知机代理模式的地球系统模式物理参数优化方法）

多层感知机的数学模型（基于多层感知机代理模式的地球系统模式物理参数优化方法）(2)求得非支配解集并排序，排序后取得当前最优非支配解，以备后续生成候选采样点集。非支配解的排序使得多个目标能被综合考虑。(1)采样。初始采样有两个重要的目的：其一是为了初步探索参数空间，使得优化算法对参数空间有一个基本的了解；其二是为了初始化代理模式。本文选择的是拉丁超立方采样，它的思想是在参数空间中分层随机抽样。因为有了分层的策略，采样在参数空间中较为全面，能够将优化算法建立在一个良好的基础上。1.1 基于多层感知机代理模式参数优化方法总体思路代理模式优化方法的总体思路如下：首先利用当前所有样本构建一个统计回归模型称为代理模式，然后利用代理模式去估计下一个更优参数的位置；将此处得到的最优参数代入真实模式中运行，获得新的真实的采样点，将此采样点加入原有样本，一起构建新的代理模式。如此反复迭代，直到新采样点满足优化条件。虽然基于克里金(Kriging)和径向基函数(RBF)代理模式的单目标

近年来，随着极端气候事件的频繁出现，气候预测问题受到越来越多的关注。地球系统模式通过构建一系列的数学物理方程组来近似模拟真实地球系统中存在的物理、化学和动力等复杂的过程，是预测未来气候的重要工具^[1]。然而地球系统模式的物理参数化方案中存在大量的不确定参数，这些参数对地球系统模式的模拟性能有很大的影响^[2]。优化算法是一种量化不确定性、校准不确定参数的有效方法。通常地球系统模式模拟的目标有两个以上，如降水、温度和湿度等对气候预测非常重要的多个变量。另外在地球系统模式中有很多气候现象，例如热带大气季节内震荡(MJO)、东亚季风(EASM)、厄尔尼诺/南方涛动(ENSO)等，这些分别是属于不同物理意义的气候现象，对人类的生产生活都有着重要的影响，因此对气候预测十分重要。若要使得地球系统模式中的多个气候要素都尽可能得到优化，此时需要利用多目标优化来对不确定参数进行优化。

常用的多目标优化算法是进化多目标算法，例如NSGAIII、MOPSO、MOEA-D等算法，其中NSGAIII和MOEA-D算法应用非常广泛，且NSGAIII是目前公认的最为高效的多目标优化方法之一^[3-4]。进化多目标算法通常全局性较好但是需要的迭代步数较多，这在地球系统模式中意味着多次的模式运行。而地球系统模式运行一次都需要极高的计算代价，成百上千次的模拟计算成本更不可接受^[5]。因此在地球系统模式中急需高效、收敛快的多目标优化算法。

本文结合传统代理模式优化思想提出了一种基于多层感知机神经网络代理模式的多目标优化方法。此方法利用多层感知机作为替代真实模式的代理回归模型，用此代理模型来估计优化参数的选取。在建立初始模型之后，每多一个采样点此方法都更新优化策略，相比进化算法的种群更新策略，它能够有效地提高算法的收敛性。

1 多目标代理模式优化方法

1.1 基于多层感知机代理模式参数优化方法总体思路

代理模式优化方法的总体思路如下：首先利用当前所有样本构建一个统计回归模型称为代理模式，然后利用代理模式去估计下一个更优参数的位置；将此处得到的最优参数代入真实模式中运行，获得新的真实的采样点，将此采样点加入原有样本，一起构建新的代理模式。如此反复迭代，直到新采样点满足优化条件。

虽然基于克里金(Kriging)和径向基函数(RBF)代理模式的单目标优化算法被大量用于在复杂问题的优化求解^[6]，然而目前面向多目标的代理模式优化算法的研究还较为缺乏。另外在传统的代理模式优化中，代理模型的选择通常为统计回归方法，这些方法对复杂多峰的地球系统模式的代理精度不足，这将会导致基于代理模式的最优参数估计不够精准，进一步影响优化算法的精度。本文针对以上问题提出了基于多层感知机的多目标优化方法(MO-ANN)，主要思想有以下两点：(1)同时结合代理模式优化的思路和进化多目标优化算法的非支配解排序策略。MO-ANN每一次寻找当前最优采样点时必须在非支配解中寻找，这样的选择防止选取到的采样点出现一个目标特别好，而另外一个目标极差情况；(2)基于多层感知机神经网络的代理模式能够相对传统代理模式的回归方法更好地实现多个输入到多个输出的回归问题。MO-ANN算法流程如图1所示。其中关键步骤的解释如下：

(1)采样。初始采样有两个重要的目的：其一是为了初步探索参数空间，使得优化算法对参数空间有一个基本的了解；其二是为了初始化代理模式。本文选择的是拉丁超立方采样，它的思想是在参数空间中分层随机抽样。因为有了分层的策略，采样在参数空间中较为全面，能够将优化算法建立在一个良好的基础上。

(2)求得非支配解集并排序，排序后取得当前最优非支配解，以备后续生成候选采样点集。非支配解的排序使得多个目标能被综合考虑。

(3)构建基于多层感知机的代理模式。根据地球系统模式的参数到性能的复杂特性，此算法中选择的建模方法是具有更强非线性表达能力的多层感知机神经网络。

(4)预估下一个最优采样点。本文预估下一个采样点的策略采用的是文献[7]中提到的随机扰动策略的改进版本，其主要思想是构建两组候选采样点集合，第一组为在当前真实最优采样点附近随机扰动，第二组为在全参数空间中的随机扰动。然后利用两种评价相结合的方法对所有候选采样点进行评价。第一种评价方法是利用代理模式对候选采样点进行估计，估计结果好的，被选取的机会大；第二种评价方式是根据候选集中的采样点与当前已有采样点的距离来衡量的，距离越近，效果越好。两种评价方式相结合的方法也更加全面地衡量了一个候选采样点的好坏。

(5)在真实的模型上（地球系统模式上）评估新采样点的结果。最后将选出的最优样本点带入真实模型中运行，得到真实的采样结果。这一步在复杂函数中为函数值的计算，在地球系统模式中则为一次模型运行和评估的过程。

(6)将新采样点加入已有样本集，重新拟合代理模式。将最新的采样结果加入已有样本库，重新构建代理模式。依此重复，直到算法收敛或者是达到规定的迭代步数。

1.2 多层感知机代理模式的实现

多层感知机神经网络是一种前向的人工神经网络（Artificial Neural Network，ANN），可以看成一组输入向量到一组输出向量的映射。它由输入层、隐含层和输出层共同构成，其中除了输入层之外每一层都带有非线性激活函数，使得模型更能够适应非线性较强的特性表达。

多层感知机神经网络在非线性回归上十分受欢迎，研究表明多层感知机是通用的函数逼近器，甚至适合非光滑和分段连续问题，且其相对于传统的机器学习算法而言，具有更高的拟合精度^[8]。

值得注意的是这里的代理模式的拟合过程并不是一般机器学习意义上寻求偏差和方差的平衡情况，这里仅仅将其作为一个回归器来使用。MO-ANN算法中每增加一个采样点都重新训练一遍代理模式，每一次代理模式的拟合过程要尽量准确，以期望代理模式能够更加精确地预估下一个最优采样点的位置。本文的拟合策略是将多个超参数控制不变，利用反向传播算法(BP)多次重复训练当前所有样本，以快速达到要求的拟合精度。此拟合方法保证了每一次迭代中代理模式模型的快速稳定。

2 实验设计

为了验证上述多目标优化方法的有效性，本文分别在复杂数学函数和单柱大气模式(Single Column Atmosphere Model，SCAM)上将此算法与前文提到的应用广泛的NSGAIII和MOEA-D算法进行了对比测试。因为在真实的地球系统模式中希望以尽可能少的模式运行次数来确定最优参数，以下评比所遵循的规定是对数学函数的计算次数在200次以内，在SCAM上的模拟次数在600次以内，查看在此范围内各类优化算法的表现情况。其中数学函数的选择的是常用的多目标测试函数ZDT2^[9]和DTLZ7^[10]。

SCAM是用来模拟固定在某个经纬度的大气物理过程，它是由特定的边界和强迫场所驱动的，是专门为了研究地球系统模式的物理参数化方案而开发的工具，对地球系统模式的发展有重要意义。本文选择的是热带暖池-国际云实验(TWP-ICE)^[11]和混合相位-北极云实验M-PACE^[12]。TWP-ICE实验的模拟时间是从2006年1月18日～2月13日。M-PACE实验的模拟时间是从2004年10月06日～10月22日。两个SCAM实验的观测分别来源于两个站点的无线电探空站所获得的观测收据。

两个SCAM实验的优化目标都是使得模式中最受关注的一些变量与观测的距离更加接近，具体的变量选择如表1所示。

模式模拟变量与实际观测距离的公式计算如下：

不确定参数和取值范围是根据之前的研究来确定的^[5]，具体的参数见表2所示，其中zmconv_c0_lnd和zmconv_c0_ocn是对降水(PRECT)和辐射(FLUT、FSNTOA)影响很大的参数，zmconv_tau是对流降水中最敏感的参数，cldsed_ai也被证明为是对辐射有很强影响的参数。

多目标的评价标准有很多，例如离散度（Spread）、世代距离（GD）、hpervolume和反世代距离（IGD）等。其中hypervolume为一个关于非支配解的离散度、收敛性的综合指标，因其可以同时考虑这两个重要的性能而成为近年来多目标评价指标中最常用的指标之一。IGD指标衡量的是当前获得的非支配解集与真实的帕累托前沿的距离，是对多目标算法收敛性最好的衡量方法之一。通常hypervolume和IGD配合使用来判断多目标优化方法的优劣。hypervolume值越大越好，反世代距离越小越好。本文多目标问题及其对应的参考点选择如表3所示。

3 复杂数学函数上多目标优化结果

下文所有图中每一次迭代都为10次函数计算或10次模式模拟。图2和图3中的总函数模拟次数为200次，每10次函数计算之后，进化多目标算法和MO-ANN算法计算一次非支配解的hypervolume和IGD。本文提出的MO-ANN代理模式多目标优化方法相对于NSGAIII和MOEA-D来说能够更快地提升ZDT2和DTLZ7函数优化效果。

4 单柱大气模式上多目标优化结果

SCAM优化问题无法求出真正的帕累托前沿，因此对于多目标在SCAM上的评价，本文以hypervolume作为标准。与在ZDT2和DTLZ7上的优化测试相同，这里也将每10次模式运行作为1次迭代，计算一次hypervolume。从图4中可以看出在TWP-ICE上MO-ANN能够更快更好地获取更优的非支配解集。在第10次迭代时已经取得较优的结果，而NSGAIII进化多目标算法则优化速度相对缓慢，在第60次迭代时依旧没有完全收敛，MO-ANN收敛速度是其的5倍以上。TWP-ICE相对M-PACE模拟时间更长，物理参数和模拟性能之间的关系也相对更复杂一些。因此在M-PACE上的MO-ANN多目标算法的优势未能有TWP-ICE上显著，但是也是3个多目标算法中精度最高的算法。

5 结论

本文首先分析了地球系统模式中面临的多目标优化问题。然后对当前优化方法在复杂地球系统模式上使用所存在的问题做了简要分析，并提出了基于多层感知机神经网络（MLP）的代理模式优化算法MO-ANN。此算法利用基于MLP的回归模型代替真实地球系统模式预测最优采样点，每增加一次采样点更新一次代理模型。最后本文将MO-ANN与常用多目标优化算法在复杂函数和单柱大气模式上的优化性能进行了对比，结果表明新提出的多目标代理模式优化算法MO-ANN在复杂数学函数和单柱大气模式上都具有明显的优势，在TWP-ICE模式上收敛速度可相对NSGAIII提升5倍以上。综上所述，基于多层感知机代理模式的多目标优化算法能够更加全面有效地应对复杂地球系统模式上的参数优化问题。

参考文献

[1] 王斌，周天军，俞永强，等.地球系统模式发展展望[J].气象学报，2008，66(6)：857-869.

[2] MASTRANDREA M D，MACH K J，PLATTNER G K，et al.The IPCC AR5 guidance note on consistent treatment of uncertainties：a common approach across the working groups[J].Climatic Change，2011，108(4)：675.

[3] DEB K，JAIN H.An evolutionary many-objective optimization algorithm using reference-point-based nondominated sorting approach part i：solving problems with box constraints[J].IEEE Transactions on Evolutionary Computation，2014，18(4)：577-601.

[4] ZHANG Q，Li Hui.MOEA/D：a multiobjective evolutionary algorithm based on decomposition[J].IEEE Transactions on Evolutionary Computation，2007，11(6)：712-731.

[5] ZHANG T，LI L，LIN Y，et al.An automatic and effective parameter optimization method for model tuning[J].Geoscientific Model Development，2015，8(11)：3579-3591.

[6] XU H，ZHANG T，LUO Y，et al.Parameter calibration in global soil carbon models using surrogate-based optimization[J].Geoscientific Model Development，2018，11(7)：3027-3044.

[7] REGIS R G，SHOEMAKER C A.A stochastic radial basis function method for the global optimization of expensive functions[J].Informs Journal on Computing，2007，19(4)：497-509.

[8] SELMIC R R，LEWIS F L.Neural-network approximation of piecewise continuous functions：application to friction compensation[J].IEEE Transactions on Neural Networks，2002，13(3)：745-751.

[9] ZITZLER E，DEB K，THIELE L.Comparison of multiobjective evolutionary algorithms：empirical results[J].Evolutionary Computation，2000，8(2)：173-195.

[10] COELLO C A C，LAMONT G B，VAN VELDHUIZEN D A.Evolutionary algorithms for solving multi-objective problems[M].New York：Springer，2007.

[11] LIN Y，DONNER L J，PETCH J，et al.TWP-ICE global atmospheric model intercomparison：convection responsiveness and resolution impact[J].Journal of Geophysical Research：Atmospheres，2012，117(D9)：D09111.

[12] VERLINDE J，HARRINGTON J Y，MCFARQUHAR G M，et al.The mixed-phase arctic cloud experiment[J].Bulletin of the American Meteorological Society，2007，88(2)：205-222.

作者信息:

吴 利1，黄 欣2，薛 巍1

(1.清华大学 计算机科学与技术系，北京100084；2.北亚利桑那大学 生态系统科学与社会中心，弗拉格斯塔夫86011)