自然语言处理需要什么标注（自然语言处理的一大步）

自然语言处理需要什么标注（自然语言处理的一大步）二者的区别在于： 2. 预测方法（例如神经概率语言模型）正式介绍 向量空间模型（VSM）表示（嵌入）连续向量空间中的单词，其中语义上相似的单词被映射到相邻的点（「都嵌在彼此附近」）。向量空间模型在自然语言处理中有着悠久、丰富的历史，但是所有方法都以某种方式依赖于分布假说，该假说认为出现在相同语境中的词语具有相似的语义。基于这一原则的方法可以被分为两类： 1. 基于计数的方法（例如隐性语义分析）

现在让我们来思考一下如何填充这些值。我们希望这些值能够一定程度上表示这个单词和它的上下文、含义或语义信息。一种方法是构建共现矩阵。

共现矩阵包含了语料库（或训练集）中每一个单词同出现在它后一个单词的统计信息。下表是上面所示句子的共现矩阵。

通过这个简单的矩阵，我们能够获得非常有用的信息。例如，「love」和「like」这两个词对名词（NLP 和 dogs）的计数都是 1。他们对「I」的计数也是 1，这表明这些词很可能是某种动词。对于远比一个句子更大的数据集，可以预料的是这种相似性会体现得更加清晰，因为「like」、」love」和其他具有相似上下文的同义词将开始具有相似的向量表示。

这是一个好的开始，但应该注意每个单词的维度将随着语料库的大小线性增加。如果我们有一百万词（在自然语言处理任务中并不算很多），我们将会得到一个一百万乘一百万的非常稀疏（有很多 0）的矩阵，存储效率很低。后来人们在探索更好的词向量表示上取得了很多进展。其中最著名的是 Word2Vec。

正式介绍

向量空间模型（VSM）表示（嵌入）连续向量空间中的单词，其中语义上相似的单词被映射到相邻的点（「都嵌在彼此附近」）。向量空间模型在自然语言处理中有着悠久、丰富的历史，但是所有方法都以某种方式依赖于分布假说，该假说认为出现在相同语境中的词语具有相似的语义。基于这一原则的方法可以被分为两类：

1. 基于计数的方法（例如隐性语义分析）

2. 预测方法（例如神经概率语言模型）

二者的区别在于：

基于计数的方法计算某个词在大型文本语料库中与其相邻词汇共同出现的频率的统计数据，然后将这些统计数据映射到每个词的小而密集的向量。

预测模型直接尝试根据学习到的近邻单词的小密集嵌入向量（考虑模型的参数）来预测单词。

Word2vec 是一种用于从原始文本中学习词嵌入的模型，它有很高的计算效率。它主要有两种实现方式，一种是连续词袋模型（CBOW），另一种是 Skip-Gram 模型。这两种方式在算法上是相似的，唯一的差别在于 CBOW 从源上下文单词中预测目标单词，而 Skip-Gram 则恰恰相反，它根据目标单词预测源上下文单词。

接下来，我们将重点讨论 skip-gram 模型。

应用到的数学知识

神经概率语言模型一般使用最大似然原则进行训练，其目标是要最大化在给定前面的单词 h（对于「history」）时的下一个单词 wt（对于「target」）的 softmax 概率

其中 score(wt h) 计算目标词 wt 与上下文 h 的相容性（常用点积）。

我们通过在训练集上最大化它的对数似然来训练这个模型。所以，我们要最大化以下损失函数：

这为语言建模提供了一个合适的标准化概率模型。

我们可以用另一种形式来更好地展示这种方法，它可以清晰地展示在训练过程中为了最大化目标函数而不断改变的选择变量（或参数）。

我们的目标是找到可以用于预测当前单词的周围词汇的向量表示。我们尤其希望最大化我们在整个语料库上的平均对数概率：