自然语言处理简介(自然语言处理的十五个细分领域及应用场景)
自然语言处理简介(自然语言处理的十五个细分领域及应用场景)这个不用多说,谷歌翻译、百度翻译、有道词典等都属于此类范畴 根据文章内容,自动生成文章的摘要; Word、WPS以及常见的IDE都由此功能; 分析句子中词语或者实体之间的关系,比如一段与犯罪有关的文本描述中识别谁是受害人,谁是嫌疑犯。 比如自动判断文章的色情程度,判断这个文章与某类特定用户的匹配程度,论文抄袭度检测等。
文本分类最常见的应用场景~垃圾邮件拦截
识别句子中的实体,如提取文本中的人名、时间、地址等实体;
信息提取识别句子中的关键信息,与实体识别的主要区别是抽取出的是信息,而不是实体,比如一条与收支相关的短信,需要提取出这条短信到底是入账、支出或者仅仅是还款提醒(并没有发生交易)等关键信息,这是信息提取;
而提取其中的金额、银行卡尾号等属于实体识别
错词识别&语法纠错Word、WPS以及常见的IDE都由此功能;
分析句子中词语或者实体之间的关系,比如一段与犯罪有关的文本描述中识别谁是受害人,谁是嫌疑犯。
文本打分比如自动判断文章的色情程度,判断这个文章与某类特定用户的匹配程度,论文抄袭度检测等。
自动摘要提取根据文章内容,自动生成文章的摘要;
机器翻译这个不用多说,谷歌翻译、百度翻译、有道词典等都属于此类范畴
词语联想最常见的应用是在搜索框中输入部分词语,如 自然,便会有自然语言处理的提示
分词功能一般利用字典树和维特比算法实现对句子的合理切分,以便有利于后期的各种分析。
将文章中对同一实体的不同表述,转为等价描述比如:“中国的首都被河北环绕,最初名字为北平,后来改为北京;”需要将中国的首都、北平、北京这三个词语映射为同一个实体;
在搜索系统中用的比较多,比如搜索中国的首都需要将与北京有关的词条展示出来。
实体链接(Entity Linkling)与知识库/知识图谱相关的系统对实体链接的应用比较多,比如:现在有一个由M个实体构成的知识库,知识库中包含了这M个实体相关的很多信息,对于一篇包含N个实体的文本,将文本中的N个实体与数据库中的对应实体做链接,获取知识库中的与实体相关的信息便更有利于对文本的理解,同时这个文本也可为知识库中的某些实体提供更多的相关信息,丰富知识库的内容;
实体链接中往往会用到共指消解
文本相似度分析可以应用于文本聚类,论文查重等;
文本生成比如对话机器人,对联生成器,根据指定的词语创作藏头诗等应用