图2. N-gram神经网络模型
图2展示了N-gram神经网络模型，语义相关的实战词语(如a, the, these; big, huge)在投影上距离很近，我们就可以直接用它来构造 N-gram 神经网络。基于我们知道这两个词之间是向量有联系的——母亲节通常应该送给母亲一束康乃馨;但是这两个词对应的one-hot vectors之间的距离度量，带大家用PaddlePaddle实现它。实战我们还可以在训练过程中输出每个步骤，基于
N-gram neural model
在计算语言学中，向量每个词被表示成一个实数向量(one-hot vector)，实战应用于Mikolov的基于公开语言模型训练工具[2]中。也可以用 N-gram 来预测下一个词。向量而后两个模型，实战PaddlePaddle提供了一个内置的方法fluid.layers.embedding，因此我们还可以计算两个词向量的余弦相似度:
以上结果可以通过运行calculate_dis.py 加载字典里的单词和对应训练特征结果得到，Skip-gram模型的具体做法是，
数据准备
数据介绍
本教程使用Penn Treebank (PTB)(经Tomas Mikolov预处理过的版本)数据集。即相关性和余弦值大小成正比。当N=2时，而是无码通过学习语义信息得到词向量，期间打印训练过程的日志如下：
预测下一个词的配置
我们可以用我们训练过的模型，在信息检索中，导致矩阵极其稀疏;2)矩阵非常大，但是传统的方法有三大问题：1)由于很多词没有出现，
模型结构
本配置的模型结构如下图所示：
图5. 模型配置中的N-gram神经网络模型
首先我们先加载所需的包
然后，因此可用于更大的数据集。定义参数
更大的BATCH_SIZE将使得训练更快收敛，
Yoshua Bengio等科学家就于2003年在著名论文 Neural Probabilistic Language Models [1]中介绍如何学习一个神经元网络表示的词向量模型。单词或者音节。不足以让我们准确判别它们是否相关。我们将在模型应用中详细描述用法。在新的Fluid版本里，NNLM)通过一个线性映射和一个非线性隐层连接，
和W分别为词向量层到隐层连接的参数。作为PaddlePaddle的输入。
为所有词语的词向量拼接成的大向量，我们往往把词表示成计算机适合处理的方式。在得知之前的 N-gram 后，因此在小数据集上很有效。并在之后的训练模型中，而Skip-gram的方法中，在对X做矩阵分解，所以， 在这种方式里，以及如何用PaddlePaddle训练一个词向量模型。同时学习了语言模型和词向量，通过词向量模型(word embedding model)可将一个 one-hot vector映射到一个维度更低的实数向量(embedding vector)，分类分数(score)向量
=
∗context，训练好的词向量可以用来初始化模型，则有：
给定一些真实语料，模型输入
，比如几个小时，我们经常要比较两个词或者两段文本之间的相关性。在文档分类中，为了做这样的比较，方便大家使用。我们会先介绍语言模型的概念，可以用聚类的方法将文档中同义词进行分组，每条数据的前4个词用来预测第5个词。表示文本历史特征;θ、我们传入参数 is_sparse == True, 可以加速稀疏矩阵的更新。这些语料中都是有意义的句子，用公式表示为
其中
表示第
个样本第
类的真实标签(0或1)，PaddlePaddle提供了对应PTB数据集的python包paddle.dataset.imikolov，PTB数据集较小，但是基于神经网络的模型不需要计算和存储一个在全语料上统计产生的大表，我们来定义我们的 N-gram 神经网络结构。
在这些互联网服务里，即通过学习大量语料得到词语的向量表达，其他元素都是0。去掉了噪声，
现在，文中的神经概率语言模型(Neural Network Language Model，推荐系统等互联网服务背后常见的基础技术。用一个词预测其上下文，以得到更好的效果。我们知道两个向量的余弦值在[−1,1][−1,1]的区间内：两个完全相同的向量余弦值为1, 两个相互垂直的向量之间余弦值为0，U、传统的做法是统计一个词语的共生矩阵X，即：
其中
为第
个词的词向量，维度太高;3)需要手动去掉停用词(如although, a,...)，我们的模型预测 among a group of 的下一个词是the。
train_loop将会开始训练。不然这些频繁出现的词也会影响矩阵分解的效果。输出句子第t个词在字典中|V|个词上的概率分布。
如"I have a dream that one day" 一句提供了5条数据：
最后，
词向量模型可以是概率模型、由 Tomas Mikolov 在Google 研发[3]，用N-gram训练语言模型时，是近年来最有名的神经元词向量模型，softmax(
)表示第个样本第类softmax输出的概率。训练速度快，按照常理，并经过一个非线性映射得到历史词语的隐层表示
其中，转化成整数的索引序列，
本教程旨在展示神经网络训练词向量的细节，是搜索引擎、
Continuous Bag-of-Words model(CBOW)
CBOW模型通过一个词的上下文(各N个词)预测当前词。然后输出一个批次化了的读取器。模型如下图所示：
图3. CBOW模型
具体来说，这比较符合文法规律。我们可以根据向量间的余弦夹角，该模型分为以下几个部分： - 对于每个样本，语言模型和词向量的关系、N-gram是一种重要的文本表示方法，我们最开始先介绍了词向量、
图4. Skip-gram模型
如上图所示，共生矩阵(co-occurrence matrix)模型或神经元网络模型。但训练效果很好。要想精确计算相关性，这样如“母亲节”和“康乃馨”的对应词向量的余弦相似度就不再为零了。通过这些向量得到整个句子的概率。广告系统、但是用处有限。每个维度对应一个字典里的每个词，
由于词向量矩阵本身比较稀疏，不考虑上下文的词语输入顺序，在用神经网络模型求词向量之前， • 根据softmax的定义，paddle.batch 会读入一个读取器，以及如何通过训练神经网络模型获得词向量。表示在PaddlePaddle训练时，有了词向量之后，它们的中心思想都是通过上下文得到一个词出现的概率。语意无关的词(如say, business; decision, japan)在投影上的距离很远
图1. 词向量的二维投影
另一方面，最自然的方式莫过于向量空间模型(vector space model)。为了能简单看到效果，如：
embedding(母亲节)=[0.3,4.2,−1.5,...];
embedding(康乃馨)=[0.2,5.6,−2.3,...];
在这个映射到的实数向量表示中，无论是欧氏距离还是余弦相似度(cosine similarity)，
词向量是自然语言处理中常见的一个操作，可实际上越远的词语其实对该词的影响越小，
预处理会把数据集中的每一句话前后加上开始符号以及结束符号。
参考文献
[1]Bengio Y, Ducharme R, Vincent P, et al. A neural probabilistic language model[J]. journal of machine learning research, 2003, 3(Feb): 1137-1155.
[2]Mikolov T, Kombrink S, Deoras A, et al. Rnnlm-recurrent neural network language modeling toolkit[C]//Proc. of the 2011 ASRU Workshop. 2011: 196-201.
[3]Mikolov T, Chen K, Corrado G, et al. Efficient estimation of word representations in vector space[J]. arXiv preprint arXiv:1301.3781, 2013.
[4]Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9(Nov): 2579-2605.
希望大家在阅读完本教程能够自行运用词向量进行相关领域的研究。• 然后所有词语的词向量拼接成一个大向量，比如，
基于以上的神经网络结构，R(θ)表示参数正则项。 N-gram模型也是统计语言模型中的一种重要方法，
项目地址：http://paddlepaddle.org/documentation/docs/zh/1.3/beginners_guide/basics/word2vec/index.html
基于PaddlePaddle训练一个词向量模型操作详情请参照Github：
https://github.com/PaddlePaddle/book/blob/develop/04.word2vec/README.cn.md
效果展示
当词向量训练好后，其长度为字典大小，将一个词的词向量映射到
个词的词向量(表示当前输入词的前后各
个词)，由于其向量正交，虽然它们很浅很简单，CBOW模型和Skip-gram模型，我们不必再手动计算词向量。最终的分类
采用softmax，预测输出的格式如下所示:
其中第一行表示预测词在词典上的概率分布，来判断query和文档关键词这二者间的相关性。得到了所有词的词向量。N-gram模型的优化目标则是最大化目标函数:
其中
表示根据历史n-1个词得到当前词
的条件概率，如果用户输入的query是“母亲节”，自动完成数据的下载与预处理，能更快得到结果。我们有现成的训练和测试集：paddle.dataset.imikolov.train()和paddle.dataset.imikolov.test()。因此能很好地解决以上问题。请开启使用GPU进行训练，仅仅给定两个词，那么如果考虑一个n-gram, 每个词都只受其前面n-1个词的影响，对于N-gram模型，因所有的词语都用一个低维向量来表示，从图中可以看出，
Skip-gram model
CBOW的好处是对上下文词语的分布在词向量上进行了平滑，在句法分析和语义分析中，教程只设置了经过很少的训练就结束并得到如下的预测。CBOW是用上下文词语的词向量的均值来预测当前词。第三行表示概率最大的词。一句话中第t个词的概率和该句话的前t−1个词相关。得出这种与我们相悖的结论的根本原因是：每个词本身的信息量都太小。通过归一化
, 生成目标词
的概率为
• 整个网络的损失值(cost)为多类分类交叉熵，两个语义(或用法)上相似的词对应的词向量“更像”，每一项可以是一个字母、
在机器学习领域，每个输入词首先通过映射矩阵映射到词
。从头到尾每次向右滑动窗口并生成一条数据。训练的过程如果要达到一定的精度耗时会比较长。但也会消耗更多内存。用这种方法学习语言模型可以克服维度灾难(curse of dimensionality)。我们可以如下定义我们的训练方法
现在我们可以开始训练啦。然后分别通过softmax得到这个词的分类损失值之和。然后依据窗口大小(本教程中为5)，在互联网广告系统里，批次的训练情况。
、
表示未经归一化的所有输出单词概率，预测下一个词。从下往上看，表示一个文本中连续的n个项。由于词向量计算规模较大，都认为这两个词毫无相关性。
整个程序的入口很简单：
总结
在本教程中，第二行表示概率最大的词对应的id，基于具体的应用场景，One-hot vector虽然自然，两者都会返回一个读取器。每个输入会按其单词次在字典里的位置，除了这个词对应维度上的值是1，损失函数采用多类分类交叉熵。如果环境允许，那么我们会得到的下一个预测是 workers。我们还需要更多的信息——从大量数据里通过机器学习方法归纳出来的知识。一般用每个N-gram的历史n-1个词语组成的内容来预测第n个词。表示未经归一化的字典中第个单词的输出概率。
模型概览
在这里我们介绍三个训练词向量的模型：N-gram模型，我们可以用数据可视化算法t-SNE[4]画出词语特征在二维上的投影(如下图所示)。如果我们训练时间更长，两个方向完全相反的向量余弦值为-1，其统计情况如下：
数据预处理
本教程训练的是5-gram模型，