deepmind生成记忆模型：让机器学会创造新的概念

deepmind生成记忆模型：让机器学会创造新的概念这个命名过程可以用于学习层次结构中任何地方的概念。同样的过程也可以用于教育模型重组的概念，如「and」、「ignore」和「in common」，我们仅需通过少量的例子就可以教会模型如何正确地使用它们。例如，「and」的意义可以通过向 SCAN 展示一张「金色而好吃」的苹果图片，并配有指令：「golden delicious IS yellow AND apple」。一旦我们的模型可以通过基元来解释视觉世界的事物，我们就进入了学习过程的命名阶段。这相当于语言学习的过程，就像成年人开始为婴儿看到的事物提供符号标签。例如，在这个阶段，家长可以在孩子面前指着苹果说：「看，一个苹果！」同样，在 SCAN 的 DeepMind Lab 环境中，它也接受了基础语言输入的指导，红色手提箱在黄色墙边的图像会被形容为「红色手提箱，黄色墙」。SCAN 可以学习这些输入的概念，并通过此前观察到的视觉理解来形成新

选自DeepMind Blog

机器之心编译

参与：李泽南、李亚洲

让人工智能像人类一样理解世界一直是研究者们努力的方向。最近，DeepMind 在这条路上又向前迈进了一步，他们提出的符号-概念关联网络（SCAN）第一次让机器可以像人类接收视觉和语言信息那样学习基础概念，并通过单纯的语言指令利用已学习到的概念重组，想象出全新的概念。值得一提的是，DeepMind 创始人 Demis Hassabis 的大名也出现在了该研究的作者名单中。

在 2500 年以前，美索不达米亚人用黏土、木材和芦苇永远改变了世界的面貌。随着时间的发展，他们的算盘让贸易和理财变得更加容易，技术的进步刺激了经济的发展。

那一刻的灵感也从另一个角度闪耀着人类的力量：我们具有重组已有概念并想象全新事物的能力。发明者必须考虑他们需要解决的问题，他们对此可以建立的方式，以及他们可以收集的材料来创造新事物。黏土可以用作底板，木棍可以制成框架，而芦苇可以用作计数器。每个组件都是已有的独特事物，而它们的组合形成了革命性的新东西。

SCAN 的学习以基本可解释的视觉定义来表达看到的场景，如对象身份、颜色、旋转、墙壁颜色和底色等。

一旦我们的模型可以通过基元来解释视觉世界的事物，我们就进入了学习过程的命名阶段。这相当于语言学习的过程，就像成年人开始为婴儿看到的事物提供符号标签。例如，在这个阶段，家长可以在孩子面前指着苹果说：「看，一个苹果！」同样，在 SCAN 的 DeepMind Lab 环境中，它也接受了基础语言输入的指导，红色手提箱在黄色墙边的图像会被形容为「红色手提箱，黄色墙」。SCAN 可以学习这些输入的概念，并通过此前观察到的视觉理解来形成新的概念。例如，苹果的概念可以根据其颜色、形状和大小来指定，而诸如位置和光照等其他视觉原语被正确地识别为与苹果这个概念无关。

这个命名过程可以用于学习层次结构中任何地方的概念。同样的过程也可以用于教育模型重组的概念，如「and」、「ignore」和「in common」，我们仅需通过少量的例子就可以教会模型如何正确地使用它们。例如，「and」的意义可以通过向 SCAN 展示一张「金色而好吃」的苹果图片，并配有指令：「golden delicious IS yellow AND apple」。

一旦 SCAN 通过符号指令学会大量概念以及操控这些概念的方式，它就能够通过口头指令结合类似的概念生成全新的概念，不需要任何图像作为样本。通过这样的指令，SCAN 能够想象大量的全新视觉概念，比如蓝色的苹果（blue AND apple）、或者不同种类的苹果（granny smith IS golden delicious IGNORE yellow AND green）。

第一个 SCAN 通过语言指令贯穿概念层次，即从对应于「白色手提箱在有粉红地板的黄色房间中」这一特定概念到「手提箱」这个一般性的概念，还有再返回到更特定的概念「绿色手提箱在有着粉红色地板的黄色房间中」。SCAN 在每一步都需要想象对应的概念（如上图左侧所示）。最后，SCAN 获得了新概念的意义-「woog」。即使没有见过一个「wong」的案例，但 SCAN 仍然能成功地想象这一概念到底是怎么样的（一个绿色的物体在带有粉红色地板的黄色房间中）。

我们的方法不同于该领域以前的研究，因为它完全基于传感数据并且只从很少的图片-单词对中进行训练。其他深度学习方法可能需要数千图片样本以学习一个概念，SCAN 从视觉基元和抽象概念中学习，其中抽象概念主要从无监督观察值与少量标注了概念的图片对（每个概念只需要 5 个标注数据）中得到。在经过训练后，SCAN 就可以生成与特定图像相对应的各种概念列表，并且即使它没有经历过那些概念，同样可以想象与特定概念相对应的各种视觉样本。

左图展示了 SCAN 想象的白色行李箱，右图 SCAN 生成的分别对应粉色房间、黄色地板、有一青色帽子的图像。

通过符号指令结合已有物体学习新概念的能力让人类能够推理宇宙、人文主义等抽象的概念，而我们的算法要做到这样的概念性跃进还有一段距离，这项研究是我们迈出的第一步：算法能够以无监督的方式学习，并思考人类用到的抽象概念。

论文：SCAN: Learning Abstract Hierarchical Compositional Visual Concepts

论文链接：https://arxiv.org/abs/1707.03389

自然世界是有无穷无尽的变化的，这种多样性是从一个相对较小部分的合理属性与法则中得到的，比如物理或化学定律。我们猜想生物智能系统能够通过探索规律性，和把这些知识信息表征为抽象概念，而在它们的多样性环境中进行生存，规律性是通过利用非监督性经验而从根本性法则中得到的。这些表征拥有有用的复合性和阶层式组织的属性，可以使智慧体把有限的概念性组成部分重组成大量有用的全新概念。

本论文描述了学习视觉区域这种概念的新框架：SCAN（Symbol-Concept Association Network）。在训练 SCAN 通过快速的符号关联（symbol association）来提取解开的视觉基本实体中的抽象概念之前，我们首先使用之前公开的 beta-VAE（Higgins et al. 2017a）架构学习被解开的表征（视觉世界隐藏结构）。我们的方法不需要符号与图像之间的很多匹配，也不假设对符号表证的选择。一但训练完成，SCAN 能够进行多模态的双向推断，从符号描述中生成一系列的图像样本，反之亦然。它也能够通过符号指令和学习到的逻辑重组运算，对组成的视觉概念进行遍历（traversal）与操控。这样的操控使得 SCAN 能够通过重组旧概念创造、学习全新的视觉概念。