人工智能在自然语言处理应用领域:人工智能应用技术之自然语言处理
人工智能在自然语言处理应用领域:人工智能应用技术之自然语言处理自然语言处理发展历程从 2008 年至今,人们也逐渐开始引入深度学习来做自然语言处理研究,由最初的词向量到word2vec,将深度学习与自然语言处理结合,并在机器翻译、问答系统、阅读理解等领域取得了一定成功。这一般被认为是自然语言处理思想的开端。20 世纪 50 年代到 70 年代自然语言处理主要采用基于规则的方法,但是基于规则的方法不可能覆盖所有语句,其次研究者不仅要精通计算机还要精通语言学。因此,这一阶段虽然解决了一些简单的问题,但是无法从根本上将自然语言理解实用化。70 年代以后自然语言处理由经验主义向理性主义过渡,基于数学模型和统计的方法取得了实质性的突破,开始从实验室走向实际应用。
自然语言处理(Natural Language Processing NLP)是研究如何利用计算机技术对语言文本(句子、篇章或话语等)进行处理和加工的一门学科,研究内容包括对词法、句法、语义和语用等信息的识别、分类、提取、转换和生成等各种处理方法和实现技术。
1950年图灵首次发表于《计算机械和智能》(Computing Machinery and Intelligence)提出了著名的“图灵测试”:
测试者与被测试者(一个人和一台机器)隔开的情况下,通过一些装置(如键盘)向被测试者随意提问。进行多次测试后,如果机器让平均每个参与者做出超过30%的误判,那么这台机器就通过了测试,并被认为具有人类智能。
图灵测试
这一般被认为是自然语言处理思想的开端。
20 世纪 50 年代到 70 年代自然语言处理主要采用基于规则的方法,但是基于规则的方法不可能覆盖所有语句,其次研究者不仅要精通计算机还要精通语言学。因此,这一阶段虽然解决了一些简单的问题,但是无法从根本上将自然语言理解实用化。
70 年代以后自然语言处理由经验主义向理性主义过渡,基于数学模型和统计的方法取得了实质性的突破,开始从实验室走向实际应用。
从 2008 年至今,人们也逐渐开始引入深度学习来做自然语言处理研究,由最初的词向量到word2vec,将深度学习与自然语言处理结合,并在机器翻译、问答系统、阅读理解等领域取得了一定成功。
自然语言处理发展历程
自然语言处理按研究和应用分类又可分为自然语言处理基础技术方向和自然语言应用技术方向。
自然语言处理基础技术
自然语言处理基础技术包括词汇、短语、句子和篇章级别的表示,分词、句法分析和语义分析以及语言认知模型和知识图谱等。
例如“爸爸背着我和弟弟去了电影院。”
语言学结构
分词&词性标注
命名实体识别
句法分析
语义角色标注
语义分析
“爸爸背着我和弟弟去了电影院。”这句话本身具有二义性,感兴趣的可以考虑一下,就句子本身可以表达几种意思?在哪种场景下,能准确表达一种意思?
其实,自然语言处理与语境有密切关系,而不是单纯地只考虑句子本身,一定要结合语境去分析。
自然语言应用技术
自然语言应用技术包括机器翻译、信息检索、情感分析、自动问答、自动文摘、信息抽取、信息推荐与过滤、文本分类与聚类、文字识别等。
机器翻译
信息检索
情感分析
自动问答
自动文摘
文字识别
看到这些示例演示,您是否对NLP感兴趣呢?
最后,引用《论语》的学而篇一句话:“学而时习之,不亦说乎?有朋自远方来,不亦乐乎?人不知而不愠,不亦君子乎?”。如果有人工智能方面的问题,欢迎多交流讨论。