机器学习中的超参数优化，机器学习中应用的最小-最大二层多目标优化

机器学习中的超参数优化，机器学习中应用的最小-最大二层多目标优化

本文首次提出了一个通用的最小-最大二层多目标优化框架，强调了在表示学习和超参数优化中的应用。在许多机器学习应用中，如meta-learning、多任务学习和表征学习，所有的任务都共享一个参数子集，而每个特定的任务都有自己的额外参数集。通过利用最近的非凸性最小-最大优化的进展，我们提出了一种梯度下降-上升的二层优化（MORBiT）算法，该算法能够在所有任务中提取一组稳健的共享参数，并进一步克服了训练和测试任务之间的分布性变化。理论分析表明，对于一类非凸问题，MORBiT以$/mathcal{O}(sqrt{n}K^{-2/5})$的速度收敛到一阶静止点，其中$K$表示总迭代次数，$n$表示任务数。 总的来说，我们制定了一个最小-最大的二层多目标优化问题，提供了一个具有收敛率保证的单循环双倍尺度算法，并展示了优化器泛化能力的理论界限。在正弦回归和表示学习上的实验结果表明，MORBiT比最先进的方法更有优势，验证了我们的收敛和泛化结果。

《Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning》

论文地址:http://arxiv.org/abs/2203.01924v1