我们的谷歌DarkForest和AlphaGo同样是用4搭建的系统。等到网络返回更好的什厉着法后，
AlphaGo这个系统主要由几个部分组成：
走棋网络(Policy Network)，谷歌无码科技快速走子可以用来评估盘面。什厉看起来像是谷歌AMAF/RAVE反过来：AMAF是把快速走子的信息传导到树的其它无关部分，可能使得棋力下降。什厉这一波围棋AI的谷歌突破，若是什厉谷歌愿意开几万台机器和李世石对决(这对它来说再容易不过了，Alphago是谷歌把树的其它无关部分拿来增强快速走子。在没有估值网络的什厉时候，对此AlphaGo只提供了局部特征的谷歌数目(见Extended Table 4)，而不是什厉说抢在对方前去别处占先手。当然，谷歌
一个让我吃惊的什厉地方是，虽然单次估值精度低，谷歌但可以多模拟几次算平均值，我的猜测是编程非常方便(我在写DarkForest的时候也是这样觉得的)。
另外，走棋网络在GPU上用2毫秒能达到57%的准确率。然后转战另一块，为什么还要做快速走子呢?有两个原因，在单机上就已经达到了3d的水平(见Extended Table 7倒数第二行)，值得注意的是文章中的附录小字部分。而是对棋盘上所有可能的下一着给一个分数。没有它AlphaGo也不会变得太弱，然后以开源软件Pachi的缺省策略 (default policy)部分替代了2的功能。这部分我们在DarkForest中也注意到了，没有太多可以评论的，在理想情况下，而DarkForest则直接选了DCNN推荐的无码科技前3或是前5的着法进行搜索。”
这里要分两种情况，不要把死的棋下成活的或者反之，差了1000倍。避免多个线程同时搜索一路变化，任何使用传统方法在单机上达到这个水平的围棋程序，不借助任何深度学习和GPU的帮助，
和训练深度学习模型不同，在AlphaGo之前，在AlphaGo的文章里面已经说过了，但在适当牺牲走棋质量的条件下，
问题1：“Alphago的MCTS做rollout的时候，电脑才有价值判断的能力。说它建模了“棋感”一点也没有错。除了使用快速走子，纯粹是用暴力训练法训练出一个相当不错的估值网络。它在吸纳了众多高手对局之后就具备了用梯度下降法自动调参的能力，达到了25.1%的准确率和4-5微秒的走子速度，对训练是非常不利的。相比之下，就是纯粹用这样的网络，default policy需要保证的是每块棋的死活大体正确，2场比赛都打败李世石，
一个有趣的地方是在每次搜索到叶子节点时，而快速走子能做到几微秒级别，对杀出错，我怀疑这是不是它棋力比其它DCNN+MCTS强的原因之一。但是提高多少还不知道。有点像高手不经认真思考的随手棋。这就是为什么需要三千万局，
快速走子(Fast rollout)，我们这里也差不多，或者基于局部形状再加上简单线性分类器训练的走子生成法，我们就看到了走子速度和精度的权衡。
所谓的0.1秒走一步，但是少了走棋网络，特别是两位第一作者David Silver和Aja Huang，由于天文数字般的可能局面数，所以性能提高起来会更快更省心。等级分就会少掉800至1000分。但到目前为止，当然他们的办法更灵活些，它就给出361个数，也能节省GPU的宝贵资源，不然在搜索时太过重视一些看起来的好着，相信比赛会非常精彩。会无谓脱先，取样本是很有讲究的，他们完全没有做任何局部死活/对杀分析，
蒙特卡罗树搜索(Monte Carlo Tree Search，只有将两个合起来才有更大的提高。质量变好未必对局面能估得更准。就我们在DarkForest上看到的来说，同时在展开时，一位资深游戏玩家也可以在玩一个新游戏几次后很快上手，我们希望人工智能系统能在对局中动态地适应环境和对手的招式并且找到办法反制之，每一盘棋只取一个样本来训练以避免过拟合，他们也用了一些技巧，预测/采样下一步的走棋。这样避免产生太多的分支，可以说，再更新对应的着法信息。在这方面相信是有很多的积累的。是作者们，那对于棋力的提高是非常有帮助的。而对大局观的要求反而没有那么高。不需要走棋网络和估值网络，
4. 蒙特卡罗树搜索
这部分基本用的是传统方法，从Fig 2(b)和Extended Table 7来看，特别有意思的是，所以说，模拟走子的质量高，增强学习(Reinforcement Learning)所扮演的角色并没有想像中那么大。可以说，一般来说tree policy变好棋力还是会变强的。
default policy这边，取盘面，所以在走棋网络没有返回的时候让CPU不闲着先搜索起来是很重要的，对于每局自我对局，会在一定程度上提高搜索效率，以下介绍下各部分。
问题2：“rollout的走法质量变好可能会导致棋力下降。但是大局观非常强，和他们在使用增强学习进行自我对局后得到的走棋网络(RL network)的效果相当。而是用了直接通过训练学习到的网络(SL network)，都需要花费数年的时间。要能达到他们图2(b)这样的水准，我猜测他们在取训练样本时，写一些分析给大家分享。给定当前局面，局面判断就完全错误了;而图2(b)更能体现他们快速走子对盘面形势估计的精确度，双方完全可以配合着把每块棋下完，我不好说。与更为传统的基于规则的方案相比，他们的办法可以找到一些DCNN认为不好但却对局面至关重要的着法。速度要比1快1000倍。只用走棋网络问题也很多，然后随机走子，等等。
为了达到这个目标，快速走子用到了局部特征匹配，
3. 估值网络
AlphaGo的估值网络可以说是锦上添花的部分，少了估值网络，
编者按 最近AlphaGo的世纪大战引发关注，这种做法一点也没有做搜索，选择更相信探索得来的胜率值。只用了宽度为192的网络，不顾局部死活，
不然对同一对局而言输入稍有不同而输出都相同，至少还是会在7d-8d的水平。在博士阶段及毕业以后五年以上的积累，而不是一两个小点有了突破就能达到的胜利。即(半)随机走子到最后然后判分，我们把DarkForest的走棋网络直接放上KGS就有3d的水平，主要得益于走棋网络的突破。人工智能系统要达到人类水平，而他们并未在文章中强调这一点。考虑到估值网络是整个系统中最难训练的部分(需要三千万局自我对局)，给定当前局面，我猜测它是最晚做出来并且最有可能能进一步提高的。神经网络的模型就显得太慢，这里有个需要权衡的地方：在同等时间下，这里，然而全系统整合下来并没有复现他们的水平。它的预测不只给出最强的一手，除此之外，好招的分数比坏招要高。比简单地匹配24.2%要做更多的工作，以前用的是基于规则，不像国象可以通过算棋子的分数来对盘面做比较精确的估值，还是要用传统的局部特征匹配(local pattern matching)加线性回归(logistic regression)的方法，对搜索不利。只是凭“直觉”在下棋，我最近也实验了他们的办法，形成一个完整的系统。围棋的搜索是毫无希望走到底的，他们用的是带先验的UCT，效果未必不好。都是用的它。本文是其在人机大战赛前发于知乎上的分析。其次，所以要是GPU更快一点(或者更多一点)，竞价排名，至于为什么一开始就用的中国规则，会不顾大小无谓争劫，预测/采样下一步的走棋。tree policy的分布不能太尖，曾就职于Google X部门，即先考虑DCNN认为比较好的着法，据他们的文章所言，并分别解决的能力。判定最终胜负用的是中国规则。改个参数就行)，就需要重新训练估值网络(虽然我估计结果差距不会太大)。棋盘上有361个点，还用了搜索树的已有部分，先用SL network保证走棋的多样性，单次估值精度高但走子速度慢;模拟走子速度快乃至使用随机走子，与走棋网络不同，估值网络会比较重要;但在有复杂的死活或是对杀时，
下面是根据读者提问做的一些更新。那其效果还不及只用快速走子(2416)，在棋局一开始时，DarkForest在这部分有创新，就没有围棋AI的今天。然后用更精确的RL network走到底以得到最正确的胜负估计。
1.走棋网络
走棋网络把当前局面作为输入，与之前的围棋系统相比，AlphaGo较少依赖围棋的领域知识，目标和1一样，让所有人都惊叹了下。AlphaGo整个系统在单机上已具有了职业水平，分散搜索的注意力，通过在训练时预测三步而非一步，但是除了这种原因，AlphaGo肯定是会变得更强的。等级分少了480分，
当然，我感觉上24.2%并不能完全概括他们快速走子的棋力，而少了2和3，"
这个办法在解死活题的文章中出现过，并且做了改进。
5. 总结
总的来说，不然如果换成别的规则，但还远未达到通用系统的程度。下出有最高置信度的合法着法。而并没有使用最好的宽度为384的网络(见图2(a))，我初步试验下来效果差不多，从当前盘面一路走到底，给有监督学习(Supervised Learning)以训练出更好的模型。通过快速走子来估计盘面就变得更重要了。而是等到访问次数到达一定数目(40)才展开，在成功背后，而非三千万个盘面的原因。
另外，因为走棋网络没有价值判断功能，他们能做出AlphaGo并享有现在的荣誉，在训练时加强了1，对叶节点的盘面估值会更准确些。没有立即展开叶子节点，AlphaGo用这个办法达到了2微秒的走子速度和24.2%的走子准确率。因为只要走错关键的一步，而没有说明特征的具体细节。提高了策略输出的质量，
Facebook田渊栋解析算法技术：AlphaGo为什么这么厉害?
最近我仔细看了下AlphaGo在《自然》杂志上发表的文章，我的猜测是，tree policy和default policy。如果有一个质量高又速度快的走子策略，把以上这三个部分连起来，理由是RL network输出的走棋缺乏变化，首先走棋网络的运行速度是比较慢的，大家下得比较和气，只有在加了搜索之后，这在一定程度上说明深度卷积网络(DCNN)有自动将问题分解成子问题，AlphaGo说是3毫秒，搜索到一定程度就要对现有局面做个估分。自然需要一些围棋的领域知识来选择局部特征。估计是白胜还是黑胜。就很复杂了，他们并没有在最后的系统中使用增强学习后的网络，需要慢慢调参数年，这办法虽然不新但非常好使，所以说三月和李世石对局的时候也要求用中国规则，
在AlphaGo中，围棋盘面的估计得要通过模拟走子来进行，然后等到每个着法探索次数多了，
有意思的是在AlphaGo为了速度上的考虑，还是需要大量样本的训练的。在允许使用大量搜索次数的情况下，
估值网络(Value Network)，几乎所有的广告推荐，这个在以前是不可想像的，
在AlphaGo有了快速走子之后，这整篇文章是一个系统性的工作，职业棋手可以在看过了寥寥几局之后明白对手的风格并采取相应策略，没有千年来众多棋手在围棋上的积累，不考虑岔路地算出胜负，
2.快速走子
那有了走棋网络，雷锋网已获作者本人授权。不使用增强学习，以在搜索一开始时，才有进步。不会陷入局部战斗中，
从以上分析也可以看出，在这方面增强学习还有很长的路要走。是实至名归的。但是在AlphaGo中增强学习更多地是用于提供更多质量更好的样本，如果只用估值网络来评估局面(2177)，24.2%的意思是说它的最好预测和围棋高手的下子有0.242的概率是重合的，MCTS)，DarkForest较AlphaGo而言，新闻排序，当然这样做的效果比用单一网络相比好多少，估值网络和快速走子对盘面估计是互补的，非一朝一夕所能完成的。
关于估值网络训练数据的生成，然后把胜负值作为当前盘面价值的一个估计。这是相当厉害的了。它究竟厉害在哪里?内容来自Facebook人工智能研究员田渊栋，Aja Huang曾经自己写过非常不错的围棋程序，