自然语言处理需要什么标注（自然语言处理的一大步）
自然语言处理需要什么标注（自然语言处理的一大步）将单词表示为独特、离散的序列号还会导致数据稀疏问题，这通常意味着我们可能需要更多数据才能成功地训练统计模型，而使用向量对词进行表示可以克服其中的一些障碍。但是，在常见的自然语言处理系统中，单词被视为离散的原子符号，因此」猫」可以被表示为 Id537 而」狗」可以被表示为 Id143。这些编码是任意的，因而无法向系统提供各个符号之间可能存在关系的有用信息。这意味着该模型在处理关于「狗」的数据时无法充分利用关于「猫」的知识（例如它们都是动物、宠物、有四只脚等）。Word2Vec 模型用于学习被称为「词嵌入」的单词向量表示，通常用在预处理阶段，之后，学习到的词向量可以被输入到一个判别模型（通常是一个 RNN）中，进而生成预测或被用于处理其他有趣的任务。为什么要学习词的嵌入表示图像和音频处理系统与丰富的高维数据集一起工作，其处理的图像数据被编码为各个原始像素强度的向量，因此所有信息都被编码在数据中
选自TowardsDataScience，作者：Suvro Banerjee，机器之心编译，参与：Pedro、张倩。
在常见的自然语言处理系统中，单词的编码是任意的，因此无法向系统提供各个符号之间可能存在关系的有用信息，还会带来数据稀疏问题。使用向量对词进行表示可以克服其中的一些障碍。本文通过推理、范例及数学公式介绍了从原始文本中学习「词嵌入」的模型 Word2Vec。该模型通常用在预处理阶段，可以提高计算效率。
让我们用推理、范例及数学公式来介绍 Word2Vec
引言
Word2Vec 模型用于学习被称为「词嵌入」的单词向量表示，通常用在预处理阶段，之后，学习到的词向量可以被输入到一个判别模型（通常是一个 RNN）中，进而生成预测或被用于处理其他有趣的任务。
为什么要学习词的嵌入表示
图像和音频处理系统与丰富的高维数据集一起工作，其处理的图像数据被编码为各个原始像素强度的向量，因此所有信息都被编码在数据中，从而可以很容易地建立起系统中各种实体之间的关系（比如猫和狗）。
但是，在常见的自然语言处理系统中，单词被视为离散的原子符号，因此」猫」可以被表示为 Id537 而」狗」可以被表示为 Id143。这些编码是任意的，因而无法向系统提供各个符号之间可能存在关系的有用信息。这意味着该模型在处理关于「狗」的数据时无法充分利用关于「猫」的知识（例如它们都是动物、宠物、有四只脚等）。
将单词表示为独特、离散的序列号还会导致数据稀疏问题，这通常意味着我们可能需要更多数据才能成功地训练统计模型，而使用向量对词进行表示可以克服其中的一些障碍。
举例来说：
传统的自然语言处理方法涉及到许多语言学本身的知识。理解诸如音素和语素之类的术语是相当基础和必要的，因为有许多语言学分支致力于这样的研究。我们来看看传统的自然语言处理如何试图理解下面的单词。
假设我们的目标是收集关于这个词的一些信息（表征它的情感，找到它的定义等）。利用我们的语言学知识可以将这个词分解成 3 个部分。
深度学习最基本的层次是表示学习。在这里，我们将通过相同方法在大规模数据集上为单词构建向量表示。
词向量
我们把每一个单词表示为一个 d 维的向量。在这里 d=6。我们希望根据这个句子，为每一个单独的词构建它的向量表示。
