nlp有几种分段，Bengio等27位NLP顶级研究者有话说

nlp有几种分段，Bengio等27位NLP顶级研究者有话说贪婪。我们正在竭力追求短期成果和回报，因此我们将大量文本数据丢给深度神经网络，希望模型能完全自发地、智能地理解和生成语言，但如果我们没有解决构建世界模型（即理解我们的世界如何运行的模型，其中建模了人类和智能体）这一更艰难的问题这行不通，无论我们设计了多少神经架构技巧，上述愿景都无法实现。我们需要咬紧牙关，结合其它领域来一起解决 NLP 的问题，而不是以一种孤立的方式。接地（气）的语言学习，即联合地学习世界模型以及将其和自然语言对应起来的方式。在深度学习框架中融合语言理解和推理。常识理解，这只能结合以上两个问题来解决。3 您觉得有没有什么把 NLP 领域带向了错误的方向？1. 您能否列举目前困扰 NLP 领域的三大难题？1）域适应：我们某种程度上假设不同领域的语言有明显的不同，因为我们的模型无法很好地迁移。而人类可以阅读大部分领域的内容。那么人们抽象了什么，或者忽略了什么，迁移了什么知识？如

机器之心整理，作者：Sebastian Ruder，机器之心编辑部。

Deep Learning Indaba 2018 是由 DeepMind 主办的深度学习峰会，于今年 9 月份在南非斯泰伦博斯举行。在此次大会上，AYLIEN 研究科学家 Sebastian Ruder、DeepMind 高级研究科学家 Stephan Gouws 和斯泰伦博斯大学讲师 Herman Kamper 采访了 20 多名 NLP 领域的研究者，包括 Yoshua Bengio、阿兰•图灵研究所 Fellow Annie Louis 等，试图就 NLP 的研究现状、当前困境和未来走向等问题给出解答。

Sebastian Ruder 近日公布了这次采访的谈话实录，以及大会演讲的 PPT，对整个采访进行了总结。

• 采访实录：https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit#heading=h.brxm2juq8i2
• 演讲 PPT：https://drive.google.com/file/d/15ehMIJ7wY9A7RSmyJPNmrBMuC7se0PMP/view

这些采访基于四个相同的问题，如下所示。机器之心摘录了部分受访者的回答内容，包括 Yoshua Bengio、阿兰•图灵研究所 Fellow Annie Louis、谷歌大脑研究科学家 George Dahl、纽约大学助理教授&FAIR 研究科学家 Kyunghyun Cho，其中有些研究者并没有回答完四个问题，这是基于受访者自身的意愿。

1. 您能否列举目前困扰 NLP 领域的三大难题？
2. 如果必须选择一个，您认为过去十年 NLP 领域最有影响力的研究是什么？
3. 您觉得有没有什么把 NLP 领域带向了错误的方向？
4. 您对刚启动项目的 NLP 研究生有什么建议吗？

Annie Louis（爱丁堡大学/图灵研究院 Fellow）

1. 您能否列举目前困扰 NLP 领域的三大难题？

1）域适应：我们某种程度上假设不同领域的语言有明显的不同，因为我们的模型无法很好地迁移。而人类可以阅读大部分领域的内容。那么人们抽象了什么，或者忽略了什么，迁移了什么知识？如何让系统在多个领域中良好地运转？

2）文本及对话生成：基于神经网络的方法对于这些系统的端到端训练非常有用，这些系统目前在易出错的流程中包含了太多的组件。但尽管现在的输出流畅性很好，但内容往往非常古怪：输出很容易出现曲解、重复、不完整等现象。我们以前遇到过相反的问题：内容很好，但流畅性差。

接地（气）的语言学习，即联合地学习世界模型以及将其和自然语言对应起来的方式。

在深度学习框架中融合语言理解和推理。

常识理解，这只能结合以上两个问题来解决。

3 您觉得有没有什么把 NLP 领域带向了错误的方向？

贪婪。我们正在竭力追求短期成果和回报，因此我们将大量文本数据丢给深度神经网络，希望模型能完全自发地、智能地理解和生成语言，但如果我们没有解决构建世界模型（即理解我们的世界如何运行的模型，其中建模了人类和智能体）这一更艰难的问题这行不通，无论我们设计了多少神经架构技巧，上述愿景都无法实现。我们需要咬紧牙关，结合其它领域来一起解决 NLP 的问题，而不是以一种孤立的方式。

4 您对刚启动项目的 NLP 研究生有什么建议吗？

要有野心。不要将自己的阅读范围限制在 NLP 论文领域。要读大量的机器学习、深度学习、强化学习论文。博士生涯是一个人实现远大目标的绝佳时期，即使是实现了目标的一小步也会有很大的价值。

更多采访内容请参见原文。我们再简单介绍一下演讲 PPT 的大致内容和结构，Sebastian Ruder 的演讲聚焦于三个主题：

1. 什么是 NLP？它在过去几年中的主要发展有哪些？
2. 目前困扰 NLP 领域的最大难题是什么？
3. 了解当地社区并开始考虑合作

对于第一个主题，Sebastian Ruder 展示了近年来 NLP 领域的重要研究进展，包括自然语言模型、多任务学习、词嵌入等，如下图所示：

Sebastian Ruder 对每个进展列出了具体的突破性论文：

对第二个主题，Sebastian Ruder 等人通过受访研究者的谈话来解答，以下为受访人名单：

他们向多位研究者提出了上述提到的四个问题。

对于第一个问题，Sebastian Ruder 等人总结出研究者的回答涉及了以下层面：

• 自然语言理解
• 低资源场景下的 NLP
• 大规模或多文档推理
• 数据集、问题及评估

对于第三个问题，每个研究者都有着不同的理解：

更详细的演讲内容，请参见原文。