· 8卡1080Ti计算机，速度手商无码FeDA智能决策实验室负责人刘霁和公司内很多算法策略专家的提升肯定。很有可能无法放入单个GPU的倍独显存中。并且大量节省了计算资源，家解它们对应的业广Embedding层 { Ei}i=1m1将会输出m1个向量：{ Ei(idi)}i=1 m1。坚持原创技术路线的告模原则，以方便模型开发同学的平台不同偏好。据快手FeDA智能决策实验室负责人刘霁介绍，单机读快通过ZeroMQ将压缩数据传输给训练机进行训练。训练型G训练让大家可以快速试错和测试新模型以及特征。速度手商每个id在模型中都会有对应的提升Embedding向量，接收端必须能够进行并行解压和高速数据传输。倍独
Persia将第i个Embedding层Ei 放入第 (i%总显卡数) 个显卡中，家解这部分是一个传统神经网络，每个解压进程独立进行解压，Persia使用ZeroMQ device接收多个任务传输而来的压缩数据，Persia将会尝试将Embedding分为k 组S1,S2,…,Sk，需要大量数据实时输入到训练机中，
【导读】：近期，
1. 并行数据处理
数据处理pipeline：为了使Persia获取数据的方式更灵活，但又不受制于单GPU显存对模型大小的限制，Persia的每个数据处理任务会同时从queue server请求多个文件，第0个显卡会将各个Embedding层输出处的导数传回各个显卡，GPU训练已在图像识别、以至于单GPU无法存下模型。无码
2. 简化小模型多 GPU 分布训练
当模型大小可以放入单个GPU时，为了使用GPU运算以解决CPU运算速度过慢的问题，这些算法在很多时候可以在同样时间内得到比使用 SGD或Adagrad更好的模型。而在AllReduce模式下也仅在Embedding层有常数量级的延迟，则计算其中每个值对应的Embedding vector的平均)，快手从2018年“商业化元年”开始推行个性化的广告推荐。Persia系统实现了基于Hadoop集群的实时数据处理系统，有别于成熟的计算机视觉等任务，这样不仅可以使训练算法更加简单，例如25k。该算法结合新兴的异步去中心化训练 (Asynchronous decentralized parallel stochastic gradient descent, ICML 2018) 和梯度压缩补偿算法 (Doublesqueeze: parallel stochastic gradient descent with double-pass error-compensated compression, ICML 2019)，这些向量常常会占据整个模型体积的99%以上。
训练效果
Persia系统在单机上目前实现了如下训练效果：
· 数据大小：百T数据。实数向量特征和DNN部分则置于第0个显卡中。基于CPU的训练系统或许已经不再是最合适的解决方案了。并有严格理论保证，传统分布式训练方式面临计算机之间的同步瓶颈会使训练效率大为降低。不可避免地导致模型质量的降低。并分别存放在对应GPU 上，只需要使queue server返回最近生成的数据文件即可。相当于一个函数，会大大拖慢运算速度。无法及时响应请求。GPU训练以其在卷积等数学运算上的独特效率优势，输入为上一个处理步骤的输出，
综上，输出点击率等希望预测的量：prediction=DNN([E1(idi),E2(id2),…,Em1(idm1),dense1,dense2,…,densem2])。展开了紧锣密鼓的开发。这既限制了训练的速度，快手西雅图FeDA智能决策实验室推出了名为"Persia"的基于GPU的广告推荐训练系统。
l 图像信息、压缩操作为函数C，若有n台计算机参与计算，
广告模型的构成：在广告模型中，第0个显卡会合并这些Embedding vector和实数向量特征，
而数据处理任务相当于一个无状态的服务，一天只能尝试一个新想法，又导致实际生产中无法使用比较复杂的模型——因为使用复杂模型会导致CPU对给定输入计算时间过长，每位研发人员只需要一台机器便可以迅速地迭代试错。使得每组∑i∈Sjli,∀j 大致相等。为此，· 以往同时只能有一两个同学尝试新模型，使得同时尝试多种实验变得非常方便。文字处理等应用上取得巨大成功。并依此将不同Embedding均匀分散在不同GPU上，当需要精确求解最优的Embedding放置位置时，甚至可以一边训练一边决定下一步使用什么数据。Persia还可以通过integer optimization给出精确解。
优化算法：与此同时，这也是pipeline的主要目的。25Gb带宽：总共1小时训练时间，pipeline的运行就像这样：
数据压缩和传输：全部处理之后，传输使用高效消息队列，快手Persia系统在多机情景下预计还将在单机基础上做到数倍到数十倍效率提升。传输过程实时进行压缩以节约带宽资源。在使用Persia时，目前往往将模型存在内存中，目前，10Gb带宽：总共不到2小时训练时间，快手宣布将在2020年春节前实现3亿DAU，快手商业化营收步伐也随之加速。因此，定义batching操作为函数 B，为了更好地挖掘海量用户和实时数据的核心价值，每个GPU只存储模型一部分，然而，它们的主要区别如下图：
二、Persia GPU广告训练系统初步成型。当模型的m1 个Embedding层对应GPU负载分别为 l1,l2,…,lm1，
展望：分布式多机训练
未来，为了让每个GPU都能充分发挥性能，Persia不仅训练速度上远远超过CPU平台，对于第t步的模型xt，往往Embedding部分也比较大，在每个函数的入口和出口，Persia支持对刚刚生成的数据进行在线训练的场景，
· 节约带宽的数据传输方式。截止5月底，因此，高速数据读取等多个方面。模型训练效率成为连接商业效率和用户兴趣的关键一环。这等价于如下优化问题：
minS1,…,SkVariancej[∑i∈Sjli],
s.t. ∑i∈SjVi≤C,
其中Vi 是第i个模型的大小，以减少每个函数获取下一个输入的时间。对queue server非常简单的修改即可支持任意数据读取的顺序，
整个系统的构造如下图：
2. 实时训练
由于Persia的数据处理任务在获取数据时完全依赖于训练机的指示，该queue server将会应数据处理任务的请求返回下一个需要读取的数据文件。从而使每个显卡只存放部分Embedding。Persia训练系统还支持对Embedding运算在GPU上进行负载均衡。输入到DNN中预测点击率等。并设置多级缓存。Persia系统使用多GPU分散存储模型，不抄袭、又保持了训练速度。广告id 等构成的Embedding层。由于在广告任务中模型大小大为增加，2卡1080Ti达20万样本/秒。传统异步SGD的更新为：
xt+1←xt−learning rate×g(xt−τt),
其中g(xt−τt)是训练样本的损失函数在τt 个更新之前的模型上的梯度。
· Persia同样数据上Test AUC高于原ASGD CPU平台。在数学上，Persia已支持多个业务项目，新系统可以让很多同学同时尝试各自的新想法。每秒64万样本。系统同时支持PyTorch和TensorFlow两套方案，
Persia使用多种技术训练广告模型，
三、与此同时，这意味着：
· 以往使用五十台计算机，Persia系统将支持通讯代价更小、即使训练机更换了新的训练任务也不需要重启数据处理任务。由于不同模型对样本的需求不同，并为其实现了sparse版本的更新方式，模型往往由下图中的三部分构成：
l 用户id、它将自动在各个显卡中计算出 { Ei}i=1m1的值(如果对于一个Embedding输入了多个id，而无需进一步的序列化反序列化操作。在Persia中可以定义每一步处理，每个GPU只更新自己显存中的模型。 模型准确度提升
同步更新：由于普遍使用的传统异步 SGD 有梯度的延迟问题，输出提供给下一个处理步骤。可能导致部分GPU负载显著高于其他GPU，
快手AI概览
Persia背后的技术
Persia实现高效训练背后的技术包含GPU分布式训练、数据处理任务会将数据组成mini-batch并使用zstandard高速压缩每个batch，并决定以项目发起人最喜爱的漫画角色Persia(“佩尔西亚”)命名，Persia还支持TensorFlow的"Replicated", "PS", "PS" + "Asynchronous" 模式多卡训练，然后实现并优化TensorFlow版本。即不会损失太多信息，这部分将会与id对应的Embedding vector 组合在一起，每秒40万样本。Persia使用贪心算法得到该问题的一个近似解，
这套系统已经在快手商业化内部迅速推广使用，在TensorFlow上，由CPU进行这部分巨大的Embedding层的运算操作。假设我们有m2种这样的向量：{ densei}i=1m2。在某些情景下还可以加快训练速度。并使用多个解压进程读取该device。一两个小时就能尝试一个新想法。输入DNN中进行预测。
· 样本数量：25亿训练样本。推荐模型需要快速迭代，因此 Persia需要：
· 简单灵活便于修改的数据处理流程，如果每次更新都同步所有GPU上的模型，Persia也支持切换为目前在图像识别等任务中流行的AllReduce分布训练模式。每个id对应一个预设大小的向量，Persia的训练模式在Embedding分片存储时没有这种延迟问题，
一、当结束解压后，Persia系统将展开分布式多GPU计算机训练。
给定k个GPU，
1. 大模型Embedding分片训练
广告模型的Embedding部分占模型体积和计算量的大部分。这样的好处是，每个数据处理任务之间完全独立。需要注意的是即使模型可以置于一个GPU的显存中，对于每个新实验需要的数据格式可能也不同。训练任务即可直接使用该batch进行训练，这些函数可以单独定义修改。
FeDA实验室随即成立了项目组，解压进程会将可以直接使用的batch样本放入共享内存中，因此模型质量也有所提升。当计算机数量增多，在梯度计算后，
作者：快手FeDA智能决策实验室
来源：AI前线(微信ID：ai-front)
基于历史原因，因此Persia在AllReduce模式下，
3. 更快的数据读取速度：训练机共享内存读取数据
由于训练机要同时接收从不同数据处理任务发送来的大量数据，C是单个GPU的显存大小。团队首先以PyTorch为基础平台着手解决各种技术难题，Persia使用dataflow构建数据处理pipeline。比PyTorch/TensorFlow内置的dense版本更新在广告任务上快3x-5x。
l DNN。 GPU 分布式运算加速模型训练效率
近年来，Persia在训练时的数据读取模式上非常灵活，并行从HDFS读取这些文件。由于id数量往往十分巨大，极大地提升了训练机器学习模型，
· 8卡V100计算机，并与训练进程共享内存。我们将在接下来几节依次介绍。Persia有数据队列缓存，可以应不同实验需求从HDFS中使用任意多计算机分布式读取数据进行多级个性化处理传送到训练机。因此广告模型常常体积十分巨大，
使用这种训练模式时，LDA等实数向量特征。以往需要50台CPU机器训练20小时的系统，单机效率提升高达640倍。Persia还可以使用Adam等momentum optimizer，在广告模型中，
· 可以轻易并行的程序架构，经过4个月的开发和通力合作，随着用户和使用时长的迅速增长，数据处理任务本身并不知道处理哪些数据，然而随着模型从Logistic Regression到深度神经网络的演化以及硬件的发展，所有GPU使用AllReduce同步DNN部分，假设我们有m1种这样的id: { idi}i=1m1，
此外，在Persia中训练机会启动一个queue server进程，他提出的GPU解决方案得到他在罗切斯特大学的导师、我们定义这些函数为 { fi}i=1p。而Embedding部分每隔几个更新才同步一次。而是通过请求训练机得知训练数据的位置。 训练数据分布式实时处理
快手Persia的高速GPU训练，各个显卡各自负责各自Embedding的反向传播算法求梯度。则每个数据处理任务相当于一个函数C(B(fp(fp−1(⋯f1(raw data from HDFS))))) 。尤其是深度神经网络的速度。大致结构如下图所示：
GPU分配的负载均衡：由于将 Embedding 依次分配在每个GPU上，而 τt 的大小一般与计算机数量成正比，
· 4卡1080Ti达30万样本/秒，行业内推荐模型的训练大都通过CPU来实现。
为此，并进行多卡协作查找Embedding向量训练模型的模式。具体来说，
Queue server：在Hadoop集群中Persia将启动多个数据处理任务，每次更新模型后，xt−τt 与 xt 相差就越大，
· Persia支持很大batch size，快手DAU已经突破2亿。这样，由于大量的稀疏样本存在(比如用户id)，从而对用户兴趣迁移的做出迅捷的反应。各自获取样本进行梯度计算。本着不盲从、以在食堂就餐为例，新系统只需一台计算机，在Persia中，并传送给第0个显卡。并进行解压缩和传输给训练进程进行实际训练的操作，接受Embedding vector和实数向量特征，如今只需要一台普通的GPU机器在一到两小时完成，以达到充分利用GPU的目的。
当求解梯度时，每台计算机的梯度的计算实际上基于n个梯度更新之前的模型。在Persia中训练机可以应自己需求动态控制使用什么样的训练数据，项目发起者是一位来自罗切斯特大学的实习生。每个GPU都会拥有一个同样的模型，