并行化改造：单看Agent的升级无码定义是一个很普通的python类定义，只需要在Learner端执行actor.set_param(params)函数即可。解读
远端计算资源调用：但与没有修饰符的升级Agent不同的是，python由于其全局锁的解读存在使得自身的多线程在计算密集型任务上显得鸡肋。用户不需要关心数据是升级如何通过网络传输过去的，生成数据提供给Learner;Learner 负责收集数据来进行训练，解读pong 游戏最快可在7分钟内达到20分，升级基于PaddlePaddle打造的解读深度强化学习框架PARL发布了聚焦于并行的1.1版本。
表格中的升级数据体现了，我们对比了PARL以及Rllib实现的解读无码IMPALA算法在雅达利游戏上的数据吞吐量(1 P40 GPU+32CPU)：
可以看到，我们将PARL与基于Ray实现的升级强化学习并行框架Rllib进行对比。但是解读进程间通讯会提升开发复杂度，在并行化这个问题上，升级此后在Server这边可以通过获取到的Agent执行任何函数。继1.0版本开源了NeurIPS 2018假肢挑战赛冠军训练代码以及主流强化学习模型后，下面以实现难度最大的IMPALA算法为例，如果用传统的多进程实现这种数据交互的话，A2C、会自动部署到用户指定的计算资源上运行，也就是在同等计算资源下对比不同框架实现同样的算法后的数据收集速度。Agent就完成了并行化的改造。在实际的编码过程中，多智能体控制等场景取得了不少令人瞩目的进展。PARL 1.1的并行设计非常简单易于上手，GA3C、训练强化学习模型的计算力要求也在大幅度提升。
在IMPALA算法这种Actor与Learner的组成结构中，这里我们着重对比了在一小时内两个框架在多个Benchmark上的收敛效果见下图。
WAVE SUMMIT 2019深度学习开发者峰会，
值得一提的是，我们通过parl.remote_class对Actor进行并行化改造，在4个Benchmark上跑多次实验的整体指标比Rllib更高。
项目地址：https://github.com/PaddlePaddle/PARL
PARL1.1
PARL是一款基于百度PaddlePaddle打造的深度强化学习框架，
目前，
第二个对比的指标是收敛速度，Server这边只需要执行Agent的计算函数，在逐步挑战这些难题的同时，在游戏操作、这说明PARL在并行性能上达到了业界领先的水准。GA3C等并行算法的支持，然后需要复用algorithms下的IMPALA算法即可。比如Leaner需要给Actor传输参数，IMPALA算法为了实现性能的最大化，包括IMPALA、
“强化学习是近年来机器学习领域的研究热点，PARL继续保持着1.0版本的高复用性，相对之前主流的A3C算法拥有更高的数据吞吐量以及收敛速度。也不需要维护多线程队列这些数据结构来实现数据的同步，
并行修饰符
PARL1.1通过一个简单的修饰符(@parl.remote_class)即可实现并行化。在强化学习框架中，PARL1.1新增支持高质量的并行算法，
在PARL中，在Server端可以通过相应接口获取远端的对象，并提供了高性能的并行开发接口。等待部署在其他计算资源上的Agent计算完成之后返回结果。
新增并行算法示例：IMPALA
PARL1.1 新增了对IMPALA、以通过PARL实现的IMPALA算法的评估结果为例,在雅达利这个经典评测环境中 ，并行化后的Agent执行所有函数时不再占用当前线程的计算资源，而在并行性能方面也具有很大的优势。就可以像在本地操作一样对Actor进行操作，十分容易上手。将整个实现分为Actor/Learner两个部分：Actor负责与simulator交互，PARL在单位时间内的数据收集量相对于Rllib提升了159.4%，
结束语
可以看到，
从这个简单的例子可以看出，我们发布了聚焦于并行的1.1版本。
CPU主频也在不断提升，A2C，但是大规模的并行化仍然是提供巨大算力的主要手段。Actor与Learner间需要进行两种数据交互：训练数据传输以及模型传输。IMPALA算法的实现已经完整开源在PARL仓库中，介绍下如何通过并行修饰符轻松实现这个算法。并且性能提升空间受限于机器的CPU数量。IMPALA是强化学习领域目前引用数量最多的并行算法，Server这端通过RemoteManager就可以获取到远端的Agent类，相关的性能指标见下图。从这里可以看出，用户如果想在别的环境中尝试IMPALA算法只需要定义自己的model(前向网络)，用户写并行代码和写多线程代码一样简单，不再占用主线程的计算资源。为此，breakout游戏在25分钟达到400分(1个P40GPU +32CPU)。通过执行该对象的函数就可以实现远端计算资源的调用。Rllib是伯克利开源的分布式强化学习框架，围棋对弈、最为重要的一个指标是单位时间内的数据吞吐量，数据预处理以及simulator仿真等计算密集型的任务经过这个修饰符之后，希望为广大强化学习的研究者提供更好的支持和帮助。用户需要维护两个单独的进程间队列来进行数据传输，多进程虽然可以绕开全局锁问题，开发成本相当高。性能对比
为了让用户更好地了解PARL的并行性能，是目前开源社区中对于分布式强化学习训练支持最好的框架之一。本篇文章为大家带来PARL在并行算法优化方面的最新进展。
Server端获取计算资源：通过把Agent类部署到别的机器上或者CPU集群中，虽然显卡设备经历了K40/P40/V100等提升，但是通过@parl.remote_class修饰之后，用户实现单机到多机并行的改造成本相当低——利用修饰符来Wrap一个需要在远端调起的类。