谷歌开源人工智能算法（谷歌揭秘下一代人工智能架构）

谷歌开源人工智能算法（谷歌揭秘下一代人工智能架构）事实上，最为合适的是训练出一种通用模型，既可以用来应对许多单独的任务，又可以在现有技能的基础上提高处理新任务的效率。比如，基于通过航拍图像来预测景观高度的训练任务，模型可以进一步学习另一项技能，比如预测洪水流经地形的情况。想象一下，如果你每次学习一项新技能，就忘记了你之前所学的一切，再完全重新开始学习。这样一来，有数千个任务，就开发了数千个单独的模型。不仅花费了更长的时间，甚至还需要更多的数据来学习每个新任务。在此背景下，谷歌的下一代人工智能架构 “Pathways” 初露头角。据悉，Pathways 遵循新的人工智能研究思维，既优化了现有人工智能系统的许多不足之处，又吸取了它们的优势。当前，多数人工智能系统在面对新任务时，并不是对已训练出的模型进行扩展以学习新任务，而是重新训练出一个新的模型，甚至将通用模型专门用于特定任务。

近年来，人工智能技术不断发展，从一个有前景的想法发展成为数十亿人日常生活中不可或缺的好帮手。

2001 年，谷歌通过机器学习技术来校正搜索查询中的单词拼写错误。今天，人工智能的应用越来越广泛，不仅可以优化摄影功能，还能够提供更适配的搜索结果，甚至可以警告人们何时何地会发生洪水。

尽管在很多方面已取得进展，但人工智能仍有潜力尚待挖掘，比如帮助人类应对一些当下所面临的严峻挑战：公共卫生疾病、气候威胁等。

然而，要想应对这些挑战，需要将已得到验证的方法与新的研究领域结合起来，提出一种功能更强大的全新人工智能系统。

在此背景下，谷歌的下一代人工智能架构 “Pathways” 初露头角。

据悉，Pathways 遵循新的人工智能研究思维，既优化了现有人工智能系统的许多不足之处，又吸取了它们的优势。

当前，多数人工智能系统在面对新任务时，并不是对已训练出的模型进行扩展以学习新任务，而是重新训练出一个新的模型，甚至将通用模型专门用于特定任务。

想象一下，如果你每次学习一项新技能，就忘记了你之前所学的一切，再完全重新开始学习。这样一来，有数千个任务，就开发了数千个单独的模型。不仅花费了更长的时间，甚至还需要更多的数据来学习每个新任务。

事实上，最为合适的是训练出一种通用模型，既可以用来应对许多单独的任务，又可以在现有技能的基础上提高处理新任务的效率。比如，基于通过航拍图像来预测景观高度的训练任务，模型可以进一步学习另一项技能，比如预测洪水流经地形的情况。

图 | 实时推断洪水淹没的机器学习模型（来源：谷歌）

与现有人工智能系统消化信息的方式不同，人们通常利用多种感官来认识世界。然而，对于大多数人工智能模型来说，它们虽然可以接收文本、图像及语音等多种形式的信息，但一次却只能处理一种形式的信息，而不是同时接收。

谷歌表示，Pathways 能够训练出可同时进行文本、图像及语音形式的多模态人工智能模型，达到更敏锐且更准确的效果。

并且，Pathways 能够处理抽象的数据，这将有助于科学家在难以攻克的研究领域中找到更多有用信息。

此外，以 Pathways 架构创建的人工智能模型更加 “稀疏” 且高效。

大多数已有的人工智能模型都是“密集的”，意味着一项任务无论是非常简单还是复杂，都需要激活整个神经网络才能完成该任务，这与人类处理某项任务时采取的方式大不相同。

在人类的大脑中，有许多不同的部分，分别用于应对不同的任务，在特定情况下只调用相关部分。换句话说就是，人类的大脑中有近千亿个神经元，但只需依赖其中的一小部分来进行某项行动。

其实，人工智能系统也能够以这样的方式运行，只需建立一个“稀疏”激活的模型，根据需要调用经过网络的小路径即可。具体来讲，该模型会动态地学习网络中的哪些部分擅长于哪些任务，以及如何通过模型中最相关的部分来完成路由任务。

这样一来，同一个人工智能模型将具备完成多种任务的能力，且运行速度更快，能源效率也更高。

图 | Pathways 工作模式（来源：谷歌）

谷歌介绍，目前，他们建立的最大人工智能模型为 GShard 和 Switch Transformer ，两者都使用 “稀疏” 激活，极大地提高了能源效率，所消耗的能量不到同样大小密集模型的十分之一，但达到的准确性相差无几。

谷歌高级研究员兼谷歌人工智能研究部门高级副总裁杰夫·迪恩（Jeff Dean）表示，“今天的机器学习模型往往在单个任务上过度专业化，而它们其实可以在许多任务中有出色表现。当需要综合多种输入时，它们却只依赖于一种形式的输入；并且，当熟练和专业知识可以做到时，它们往往诉诸蛮力。”

而 Pathways 不同，它以超高的效率使单个人工智能系统覆盖近百万个任务，并能对不同类型的数据进行解析，“从仅仅识别模式的单一用途模型时代推进到更通用的智能系统时代，适应新需求。” 迪恩补充道。

也就是说，多数人工智能模型通常被训练为只做一件事，而 Pathways 可以训练单个模型做千千万万件事。

迪恩称，“我们熟悉当今许多全球性挑战，并致力于研究可帮助解决这些挑战的技术。同时，我们也确信未来还有一些尚未预料到的重大挑战，都需要紧急解决方案。因此，我们非常谨慎，并始终遵循我们的人工智能原则来打造下一代人工智能架构，其可以快速适应新需求并解决世界各地出现的新问题，以帮助人类创造更好的未来。”

-End-

参考：
https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/