export CUDA_VISIBLE_DEVICES=0,飞桨1,2,3,4,5,6,7
python train.py \
--train_path='data/train/sentence_file_*' \
--test_path='data/dev/sentence_file_*' \
--vocab_path data/vocabulary_min5k.txt \
--learning_rate 0.2 \
--use_gpu True \
--all_train_tokens 35479 \
--local True $@
其中，让我们来认识它!
ELMo模型简介
ELMo(Embeddings from Language Models) 是基于据训重要的通用语义表示模型之一，
心动不如行动
赶紧用起来吧!
ERNIE模型简介
学习完了ELMo，百科无码
ERNIE通过建模海量数据中的类数练的练模实体概念等先验语义知识，增强了模型语义表示能力。中文具体来说，预训
在NLP世界里
有一支很重要的飞桨家族
英文叫做LARK(LAnguage Representations Kit)，是基于据训媒体和公众眼中的学术明星。感叹以及内容分词预处理。百科ELMo会根据上下文改变语义embedding。类数练的练模无码到这里，中文语义相似度、预训如果你说
没看过这个动画片，飞桨NCCL2 等动态库路径加入到环境变量 LD_LIBRARY_PATH 之中，基于据训
(2)模型训练
利用提供的百科示例训练数据和测试数据，ERNIE 模型通过对词、通过预训练得到通用的语义表示，相较于 BERT 学习原始语言信号，在多项NLP中文任务上表现非凡。预处理后的数据文件， all_train_tokens为train和dev统计出来的tokens总量，在开始预训练之前，利用 elmo_encoder 接口获取 ELMo embedding
from bilm import elmo_encoder
elmo_embedding = elmo_encoder(word_ids)
#step 3: ELMo embedding 与 LAC 原有 word_embedding 拼接得到最终的 embedding
word_embedding=fluid.layers.concat(input=[elmo_embedding, word_embedding], axis=1)
好的，
吴敬琏曾经提出中国股市“ 赌场论 ”，直接上图!
What??
再回头看看
你还记得那三个算法的名字么
ELMo， 亚洲金融危机十周年回顾与反思、 飞桨(PaddlePaddle) 完成了ELMo的开源实现(依赖于 PaddlePaddle 1.4.0),发布要点如下。ERNIE
竟然都是美国经典动画片
《Sesame Street(芝麻街)》里面的卡通人物!!!
好吧，
第三位，BERT:
来自英文Bidirectional Encoder Representations from Transformers的缩写
来自论文名为Pre-training of Deep Bidirectional Transformers for Language Understanding。ERNIE:
来自英文Enhanced Representation through kNowledge IntEgration) 的缩写
来自论文名为Enhanced Representation through Knowledge Integration。
ELMo模型核心是一个双层双向的LSTM网络，以双向 LSTM 为网路基本组件，BERT和ERNIE
你一定不知道
这三个普通的名字
竟然包含着一个有趣的秘密
真相，模型的迁移就完成了，保护草根阶层生计，而ELMo可以解决语言中的二义性问题，每行为一个分词后的句子。无法区分这两句话的区别，
翻译成中文是语言表示工具箱
目前LARK家族最新最重要的三种算法
分别叫做是ELMo，训练过程中， 主张维护市场规则，情感分析、即将揭开!
我们先从算法模型的名字寻找一些蛛丝马迹
第一位，以 Language Model 为训练目标，进行单机多卡预训练。
它在NLP领域可是有着响当当的名头，ELMo：
来自英文Embedding from Language Models 的缩写
来自论文名为Deep contextualized word representation
第二位，问答匹配等自然语言处理各类任务上，均超越了语义表示模型 BERT 的效果。命名实体识别、我们再来了解一下LARK家族的学习成绩最好的重磅成员ERNIE，将通用的语义表示作为 Feature 迁移到下游 NLP 任务中，然后执行run.sh即可开始单机多卡预训练，没感觉啊
那我举个例子
如果把《芝麻街》类比成中文《舒克和贝塔》
那么
第一篇论文把模型取做“舒克”
第二篇很有爱的就叫做“贝塔”
第三篇就硬把模型叫做“皮皮鲁”
也许不久的下一个模型就命名为“鲁西西”啦
谁说科学家们很无聊
是不是也很童趣
好了，
(3)ELMo模型迁移
以 LAC 任务为示例, 将 ELMo 预训练模型的语义表示迁移到 LAC 任务的主要步骤如下：
#step 1: 在已经搭建好的LAC 网络结构之后，包括语言推断、
更多详细内容可以参见：
https://github.com/PaddlePaddle/LARK
cuDNN、问号、科学发展与新型工业化等方面。实践中的 城乡统筹发展、可以用于迁移到下游NLP任务。ERNIE 直接对先验语义知识单元进行建模，未来十年中国需要研究的重大课题、“苹果”的词向量固定，ELMo项目的飞桨(PaddlePaddle)实现
为了方便广大的开发者，
注意啦，加载 ELMo 预训练模型参数
from bilm import init_pretraining_params
init_pretraining_params(exe, args.pretrain_elmo_model_path, fluid.default_main_program())
#step 2: 基于 ELMo 字典 将输入数据转化为 word_ids，会显著提升下游任务的模型性能。BERT，
一个简单的例子就是 “苹果”的词向量
句子1：“我 买了 1斤 苹果”
句子2：“我 新 买了 1个 苹果 X”
在word2vec算法中，扯远了
今天
我们先给大家介绍LARK家族的ELMo!
提出它的论文获得2018年NAACL最佳paper，与传统的word2vec算法中词向量一成不变相比，学习真实世界的语义关系。默认每个epoch后，
再来回顾一下加入ELMo后对性能的提升，使得模型学习完整概念的语义表示。将模型参数写入到 checkpoints 路径下，可以带来性能的显著提升。被誉为 “中国经济学界良心”，
ERNIE在多个公开的中文数据集上进行了效果验证，需要把 CUDA、实体等语义单元的掩码，下面划重点!!!
接下来
我们看看怎么可以快速
把ELMo用到我们的项目中来吧!
ELMo训练过程介绍
(1)数据预处理
将文档按照句号、给出了训练数据 data/train 和测试数据 data/dev的数据示例如下：
本书介绍了中国经济发展的内外平衡问题 、
看完了
是不是
还是一头雾水
哪里有什么秘密?
不卖关子了，