nlp自然语言处理还有前景么,自然语言处理常见任务分析
nlp自然语言处理还有前景么,自然语言处理常见任务分析1. http://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/TaskShort (v9).pdf综上,我们简要的过了一遍常见的 NLP Tasks,其中一部分可以使用 BERT 和它的后继来解决,甚至超越人类,但是仍有一部分,如任务型对话中的 NLG,还不能完全用模型替代,NLP 的未来还大有可为。借助语音技术,工业界中的"智能外呼"就是使用下图类似的技术。ASR 用来语音识别,TTS 用来语音生成。主要使用了实体识别和关系提取的技术。GLUE 在 BERT 出现后,上面的任务模型已经逼近了人类水平,因而有了 SUPER GLUE 和 DecaNLP,让模型挑战更难的任务。
NLP Tasks 繁殖一般有如上六种情况,本文主要集中在后两种,文本 → 文本和文本 → 类别。
我们知道了 NLP 中常用任务的处理架构,我们才能更好的使用我们的模型,无论是 BERT、ELECTRA 还是 GCN,我们最终都是要使用在某一任务上,所以弄懂各种 Task 的基本处理架构,可以帮助我们更好的落地这些模型。
Part-of-Speech(POS)Tagging —— 词性标注 Word Segmentation —— 分词Y 代表词的边界,三个 Y 代表有三个词,中文中常使用这种技术。
Parsing(句法解析) Coreference Resolution(指代消解) Summarization(摘要) Machine Translation(机器翻译) Grammar Error Correction(纠错) Sentiment Classification(情感分析) Stance Detection(立场侦测) Veracity Prediction(事实侦测) Natural Language Inference(NLI) Search Engine(搜索引擎) Question Answering(QA) Dialogue(对话)Chatting(闲聊) Task-orientated(任务型) Natural Language Generation(NLG) Policy & State TrackerModel 需要细分,直接端到端,目前业界的效果还不好。
Natural Language Understanding(NLU) ASR & TTS借助语音技术,工业界中的"智能外呼"就是使用下图类似的技术。ASR 用来语音识别,TTS 用来语音生成。
Knowledge Graph(知识图谱)主要使用了实体识别和关系提取的技术。
General Language Understanding Evaluation (GLUE)GLUE 在 BERT 出现后,上面的任务模型已经逼近了人类水平,因而有了 SUPER GLUE 和 DecaNLP,让模型挑战更难的任务。
综上,我们简要的过了一遍常见的 NLP Tasks,其中一部分可以使用 BERT 和它的后继来解决,甚至超越人类,但是仍有一部分,如任务型对话中的 NLG,还不能完全用模型替代,NLP 的未来还大有可为。
参考1. http://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/TaskShort (v9).pdf
2. 【李宏毅老师】Overview of NLP Tasks_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili