人工智能机器学习体系：支持大规模基于种群多智能体强化学习训练

人工智能机器学习体系：支持大规模基于种群多智能体强化学习训练无人机集群(https://defensesystems.com/-/media/GIG/Defense-Systems/Web/2015/JanFeb/CODEdrones.jpg)。自动驾驶（https://github.com/huawei-noah/SMARTS/blob/master/docs/_static/smarts_envision.jpg）。在深度学习领域，算力从来都是我们关心的一个重点，也是影响人工智能算法落地的一个关键因素。在很多应用场景里面，足够的算力支持可以显著加快算法从提出、训练到落地的效率，像是 OpenAI Five 的亿级参数量的使用，其每天的 GPU 计算用量在 770±50~820±50 PFlops/s。而在深度强化学习领域，随着应用场景从单智能体扩展到多智能体，算法的求解复杂度也呈现指数级增长，这也对算力要求提出了新的挑战，要求更多的计算资源能够

机器之心专栏

作者：上海交大和UCL多智能体强化学习研究团队

基于种群的多智能体深度强化学习（PB-MARL）方法在星际争霸、王者荣耀等游戏AI上已经得到成功验证，MALib 则是首个专门面向 PB-MARL 的开源大规模并行训练框架。MALib 支持丰富的种群训练方式（例如，self-play PSRO league training)，并且实现和优化了常见多智能体深度强化学习算法，为研究人员降低并行化工作量的同时，大幅提升了训练效率。此外，MALib 基于 Ray 的底层分布式框架，实现了全新的中心化任务分发模型，相较于常见的多智能体强化学习训练框架（RLlib，PyMARL，OpenSpiel），相同硬件条件下吞吐量和训练速度有着数倍的提升。现阶段，MALib 已对接常见多智能体环境（星际争霸、谷歌足球、棋牌类、多人 Atari 等），后续将进一步提供对自动驾驶、智能电网等场景的支持。

项目主页：https://malib.io。

在深度学习领域，算力从来都是我们关心的一个重点，也是影响人工智能算法落地的一个关键因素。在很多应用场景里面，足够的算力支持可以显著加快算法从提出、训练到落地的效率，像是 OpenAI Five 的亿级参数量的使用，其每天的 GPU 计算用量在 770±50~820±50 PFlops/s。而在深度强化学习领域，随着应用场景从单智能体扩展到多智能体，算法的求解复杂度也呈现指数级增长，这也对算力要求提出了新的挑战，要求更多的计算资源能够被调用。特别是当所要处理的问题规模，涉及的智能体数量较多时，单机训练算法的可行度显著下降。

多智能体强化学习要解决群体智能相关的问题，其研究往往涉及群体内智能体之间的协作与对抗。目前已有众多现实任务应用涉及大规模智能体和复杂多样化交互，例如人群模拟、自动驾驶以及军事场景中的无人机集群控制：

人群模拟(http://gamma.cs.unc.edu/CompAgent/imgs/sitterson3.jpg)。

自动驾驶（https://github.com/huawei-noah/SMARTS/blob/master/docs/_static/smarts_envision.jpg）。

无人机集群(https://defensesystems.com/-/media/GIG/Defense-Systems/Web/2015/JanFeb/CODEdrones.jpg)。

在算法方面，解决此类群体问题的一个重要的途径是基于群体的多智能体强化学习方法，也是 MALib 目前阶段的重点瞄准方向。基于群体的多智能体强化学习（Population-based MARL PB-MARL）涉及多个策略集合交互问题，下图展示了通常意义上基于群体的多智能体强化学习算法的主要流程。PB-MARL 算法是结合了深度强化学习和动态种群选择方法（例如，博弈论，进化策略）以自动拓展策略集。PB-MARL 能够以此不断产生新的智能，因而在一些复杂任务上都取得了不错的效果，如实时决策游戏 Dota2 、StrarCraftII，以及纸牌任务 Leduc Poker。但在实际问题中，目前的多智能体强化学习算法与应用尚有差距，一个亟待解决的问题便是算法在大规模场景下的训练效率。由于种群算法内在耦合了多智能体算法，致使其训练过程对数据的需求量极大，因而也需要一个灵活、可扩展的训练框架来保证其有效性。