谷歌人工智能破解围棋比赛：首次完胜欧洲冠军|谷歌|人工智能|机器学习_新浪科技_新浪网
谷歌人工智能破解围棋比赛：首次完胜欧洲冠军
　　新浪科技讯 1月28日上午消息，谷歌今日宣布在人工智能领域的重要进展：开发出一款能够在围棋中击败职业选手的程序——AlphaGo，该程序能够通过机器学习的方式掌握比赛技巧。
　　人工智能挑战围棋有多难？
　　计算机和人类竞赛在棋类比赛中已不罕见，在三子棋、跳棋和国际象棋等棋类上，计算机都先后完成了对人类的挑战。但对拥有2500多年历史的围棋而言，计算机在此之前从未战胜过人类。围棋看起来棋盘简单、规则不难，纵横各19九条等距离、垂直交叉的平行线，共构成19×19(361)个交叉点。比赛双方交替落子，目的是在棋盘上占据尽可能大的空间。
　　在极简主义的游戏表象之下，围棋具有令人难以置信的深度和微妙之处。当棋盘为空时，先手拥有361个可选方案。在游戏进行当中，它拥有远比国际象棋更多的选择空间，这也是为什么人工智能、机器学习的研发者们始终希望在此取得突破的原因。
　　就机器学习的角度而言，围棋的计算最大有3361种局面，大致的体量是10170，而已经观测到的宇宙中，原子的数量才1080。国际象棋最大只有2155种局面，称为香农数，大致是1047。
　　“机器学习”预测人类行为
　　传统的人工智能方法是将所有可能的走法构建成一棵搜索树 ，但这种方法对围棋并不适用。此次谷歌推出的AlphaGo，将高级搜索树与深度神经网络结合在一起。这些神经网络通过12个处理层传递对棋盘的描述，处理层则包含数百万个类似于神经的连接点。
　　其中一个神经网络“决策网络”(policy network)负责选择下一步走法，另一个神经网络“值网络”(“value network)则预测比赛胜利方。谷歌方面用人类围棋高手的三千万步围棋走法训练神经网络，与此同时，AlphaGo也自行研究新战略，在它的神经网络之间运行了数千局围棋，利用反复试验调整连接点，这个流程也称为巩固学习(reinforcement learning)。通过广泛使用Google云平台，完成了大量研究工作。
AlphaGo所使用的神经网络结构示意图
　　征服围棋对于谷歌来说有重要意义。AlphaGo不仅是遵循人工规则的“专家”系统，它还通过“机器学习”自行掌握如何赢得围棋比赛。谷歌方面希望运用这些技术解决现实社会最严峻、最紧迫的问题——从气候建模到复杂的灾难分析。
　　在具体的机器训练上，决策网络的方式是输入人类围棋专家的比赛，到系统可以预测57%人类行动为止，此前最好成绩是44%。此后AlphaGo通过在神经网络内部进行比赛的方式(可以简单理解成和自己下棋)，开始学习自主探索新的围棋策略。目前AlphaGo的决策网络可以击败大多数具有庞大搜寻树的最先进的围棋程序。
　　值网络也是通过自己和自己下棋的方式来训练。目前值网络可以评估每一步棋能够有多大胜算。这在此前被认为是不可能的。
　　AlphaGo战绩惊人
　　实际上，目前AlphaGo已经成为最优秀的人工智能围棋程序。在与其他程序的对弈中，AlphaGo用一台机器就取得了500场的胜利，甚至有过让对手4手后获胜的纪录。去年10月5日-10月9日，谷歌安排AlphaGo与欧洲围棋冠军Fan Hui(樊麾：法国国家围棋队总教练)闭门比赛，谷歌以5-0取胜。
AlphaGo与欧洲围棋冠军樊麾的5局较量
　　公开的比赛将在今年三月举行，AlphaGo将在韩国首尔与韩国围棋选手李世石九段一决高下，李世石是近10年来获得世界第一头衔最多的棋手，谷歌为此提供了100万美元作为奖金。李世石表示很期待此次对决，并且有信心获得胜利。
　　此外，AlphaGo的发布，也是Deep MInd在2014年1月被谷歌收购以来首次发声。在被收购之前，这家位于伦敦的人工智能领域的公司还获得了和SpaceX创始人马斯克的投资。
　　人机对弈谁将胜？
　　值得一提的是，上一次著名的人机对弈要追溯到1997年。当时IBM公司研发的超级计算机“深蓝”战胜了国际象棋冠军卡斯巴罗夫。不过国际象棋的算法要比围棋简单得多。国际象棋中取胜只需“杀死”国王，而围棋中则用数子或比目的方法计算胜负，并不是简单地杀死对方棋子。此前，“深蓝”计算机的设计人2007年发表文章指出，他相信十年内能有超级电脑在围棋上战胜人类。
　　该项目并未给IBM带来可以销售的产品，但却让我们意识到：基础科学研究所面临的巨大挑战是值得我们去迎接的，虽然企业在这方面的收益还无法量化。
　　随着顶级科技公司争相在产品中融入智能技术，谷歌并不是唯一一家研究围棋AI的公司，Facebook对围棋人工智能的研究整合此前也亮相最新的计算技术：深卷积神经网络(deep convolutional neural networks)和蒙特卡洛树搜索(Monte Carlo tree search)，前者利用类似于大脑的算法来学习和识别棋盘上各种模式的重要性，而后者相当于一种超前思维，用于计算详细的战略步骤。
&&& Facebook和谷歌在围棋人工智能方面的研究具有极大的代表意义。与国际象棋相比，围棋更具深度。要让计算机掌握相关技巧，需要更多类似于人类的模式识别和直觉判断技巧，计算机象棋软件越来越优秀，已将揭开了这项游戏的神秘面纱；相比之下，围棋目前更加神秘。但将来，围棋的神秘色彩也可能不复存在。(李根 周峰 边策 郭祎 )
再拔高一点，从更宏大的格局上来讲，抄袭甚至可以是免费的学习机...
尽管本财季苹果，特别是营收和利润的核心iPhone趋于零增长让业内...
此刻已经转身成为资本公司的盛大网络，和它曾经投入亿万的泛娱乐...
乘客、司机双方通过中间号沟通，无需公开手机号码，从而保护乘客隐私。
刷单并非新鲜事，但是刷到名字、价格、销量和评价统统造假的情况，依旧让人吃惊。热门推荐：
　　谷歌 DeepMind 团队在最新一期《Nature》上发表论文称，他们研发的人工智能算法击败了欧洲围棋冠军 Fan Hui，同时也击败了目前最好的围棋程序中99.8%的对手。而帮助他们解决这个人工智能历史难题的关键是使用了政策网络（policy network）和价值网络（value network）两种深度神经网络。而就在前一天，Facebook 也在arXiv.org上更新了一篇用卷积神经网络和蒙特卡洛树搜索相结合来解决围棋问题的新论文。并且，公司人工智能实验室负责人 Yann LeCun 在自己的 Facebook 主页上针对谷歌和Facebook的研究发表了一段非常精彩的说明。
　　编译：机器之心
　　谷歌 DeepMind 团队发表 Nature 封面论文，赢得围棋人工智能挑战
　　在迈向搭建具有更类似人类直觉的人工智能道路上，谷歌取得了出乎意料的辉煌一步；他们研发出能够在极其复杂的围棋游戏中击败专家级人类选手的计算机。他们将论文发表在了《Nature》上。
　　谷歌团队已经表明，掌握围棋所需技能并不为人类独享。他们的一款叫做 Alpha Go 的计算机程序击败了欧洲围棋冠军 Fan Hui ，战绩为5:0。Alpha Go 的下一个挑战将是世界顶级围棋选手之一――李世h，比赛将于三月份在首尔举行。
　　开发 Alpha Go 的团队是 Google 的 DeepMind ，这是2014年 Google 在英国收购的一家很小的人工智能公司。这个团队使用的是一种非常流行和成功的机器学习方法，叫做深度学习，同时还加上了另一种模拟技术来对潜在的步法进行建模。深度学习需要对一个大型的神经网络进行训练，使其对数据中的模式做出反应。事实还证明，它对图像和音频处理也十分有用。许多大型科技公司都在探索新方法来使用这种技术。
　　要想掌握围棋，需要不断实践练习，也需要识别棋子布局中微妙模式的巧妙本事。
　　DeepMind 团队表示，Alpha Go 的关键在于使用的深度神经网络，实际上，在 Alpha Go 中有两种不同的神经网络，第一种叫做政策网络（policy network），用来预测下一步；第二种叫做价值网络（value network），用来预测棋盘上不同的分布会带来什么不同的结果。 Alpha Go 使用它们的方法是，把非常复杂的搜索树减少到可操作的规模。所以，它并不是在每一步都要考虑几百种步数，而只考虑政策网络提供的几十种最有前景的步法，价值网络的作用是减少搜索的深度，所以，它的搜索深度并不是特别深，它并不是一下子搜索出直达比赛末尾的300多步，而是搜索更少的步数，比如20多步，并评估这些位置，而不是一路评估到底，看谁最终能赢。搜索并不是靠蛮力，而是与某种与想象力很相似的东西。
　　领导这项研究的另一位 Google 研究者 David Silver 说：“围棋有着巨大的搜索空间，用蛮力很难解决。 Alpha Go 的关键在于，将搜索空间缩小到可以操作的范围。这个方法让 Alpha Go 比以前的方法都更像人类。”
　　Demis Hassabis 说，围棋是人类发明的最复杂也是最美的游戏。通过战胜 Fan Hui ，“我们的程序赢得了长期以来一项重大人工智能挑战的胜利。而这项技术在 Google 的首个用途将是开发更好的个人助理软件。这样的个人助理能够从用户在线行为中学习用户偏好，并对产品和事件作出更符合直觉的建议。”
　　DeepMind创始人Demis Hassabis
　　Hassabis 还说道，他们用来创造 Alpha Go 的技术，也正是他的团队努力开发强人工智能的尝试。他说：“最终，我们想要将这些技术应用到真实世界的重要问题中。因为我们用的方法是通用的，我们希望有一天，它们能延伸得更广，帮助解决最紧迫的社会问题，从医药诊断到环境模型。”
　　实际上在几年前，大多数围棋选手和棋类程序员都相信，围棋实在是太困难了，必须要花上几十年的时间，计算机才能达到人类专业棋手的标准水平。对计算机来说，围棋比象棋的挑战更大，原因有二：每个回合可能存在的走法数量多得多，没有一个简单的方法来测算优势。所以，棋手只能学着在棋盘上几百个棋子中识别出抽象模式。即使是专家也经常会很难解释为什么一步棋看起来很有优势或有问题。
　　众专家的评价
　　1997年，当 IBM 深蓝计算机在象棋上称霸时，它使用的是手工编码的规则，在搜索时将穷尽所有可能发生的步法。Alpha Go 从本质上则是随着时间而学习的，可以识别出可能具有优势的模式，然后模拟出数量有限的潜在结果。
　　Google 的成就受到了广泛的祝贺，也引起了许多本领域研究者的惊讶。
　　新成立的非营利性组织 OpenAI 的 AI 研究者 Ilya Sutskever 说：“从技术的角度说，这个研究对AI具有纪念碑式的贡献。” 他说，这个成果非常重要，因为 Alpha Go 从本质上教会了自己如何赢得比赛。“同样的技术也可以用于其他棋类游戏中，以获得高超表现。”
　　加拿大阿尔伯塔大学的计算机科学教授 Michael Bowling 最近开发了一个能在扑克牌上赢过人类的程序。他听到这个消息也很兴奋。他相信，这个方法在许多可以运用机器学习的领域都很有用。他说：“许多我们通常认为是人类智能的东西其实都构建于模式匹配上。许多被我们看做学习的东西，其实都是在过去看到了某些模式，然后意识到它们与现在的状况有何联系。”
　　纽约大学认知教授 Gary Marcus 说：“这不是所谓的端对端深度学习系统。而是精心建构的模块化系统，在前端具有一些缜密的手工操作，也就是说，几乎媲美人类心智：丰富，模块化，通过演化做出些微调整，而不仅仅是一束随机互联的神经元，完全通过经验做出调整。”
　　Facebook 不甘示弱：提前发表论文，LeCun 精彩回应
　　而就在国外媒体对谷歌这篇论文进行大规模报道之前，Facebook 人工智能实验室（以下简称FAIR）负责人Yann LeCun 也非常“巧合”地在自己 Facebook 主页贴出了 Facebook 刚刚发表在 arXiv.org 的一篇针对围棋问题的论文，还意味深长的从围棋问题的历史、相关技术、Facebook 研究进展等方面进行了详细说明。
　　首先，Yann LeCun 解释了我们为什么要研究围棋？他说，作为一项非常困难的任务，围棋是一个很好的案例来验证各种学习技能的结合，包括模式识别、问题解决和规划等，也是一个可以用来测试新想法的工具，包括机器学习、推理和规划的结合。
　　Yann LeCun 说，Facebook FAIR 的一位科学家 Yuandong 在几个月前开始独立研究围棋项目，他开发了一款叫做“黑暗森林”的机器人。根据论文中的描述，最新版机器人将卷积神经网络和目前围棋机器人的经典方法――蒙特卡洛树搜索进行了有机结合。
　　此前，曾在2014年东京围棋擂台赛上通过让子以微弱优势战胜人类棋手的 Crazy Stone 就是依赖于蒙特卡洛树搜索，这是一套能够从本质上对每一步走法的所有结果都进行分析的系统。所以，有些机器能够非常精通西洋棋、国际象棋和其他棋类。它们比人类棋手看的更远，所以能够轻松的击败他们。但围棋不是这样，下围棋有太多的可能性需要考虑。在国际象棋的任何一个回合，平均可能的走法有 35 种。但围棋的走法却能达到 250 种。并且在这 250 种可能的走法之后，还对应着另外 250 种可能，以此类推。因此，用蒙特卡洛数搜索去计算每一步走法所带来的所有结果是不可能的。
　　从 Facebook 的研究成果可以看出，通过将训练过的卷积神经网络和蒙特卡洛树搜索的结合，我们可以在模式匹配功能上再加入策略评估这个新功能。这也将有益于游戏之外的其他应用，比如说自然语言生成，在回复中能够加上自发性和多样性，同时也能进行推理，而推理所需要的就是搜索可能的答案并挑选出最优的逻辑链。我们的兴趣并不在于要开发出世界上最好的围棋选手，但这是我们人工智能研究进展的一次有趣练习。
　　从去年11月起，DarkForest 就已经在公开的围棋服务器 KGS 上击败了一些人类选手和其他围棋机器人。DarkForest 的第一版完全是基于卷积神经网络。通过有监督模式的训练让它来“模仿”人类选手。我们使用了大量人类专业选手比赛录像的数据库，然后将比赛的棋盘格局输入到卷积神经网络中，以此来训练它预测人类选手的下一步走法。这需要大规模卷积神经网络，它的输入是一个带有注释的完整的19x19围棋棋盘，而神经网络输出的是一个代表着人类专业棋手每一步走法概率分布的棋盘地图。这充分利用了卷积神经网络的模式识别能力，而这种能力在图像中的物体识别、人脸识别和语音识别方面的成功早就得到了证明。
　　LeCun 表示，将卷积神经网络应用于围棋的想法要追溯到很久之前的1994年，Nicol Schraudolph 及合作者共同在 NIPS 上发表了一篇论文，将卷积神经网络和增强学习结合起来应用于围棋问题研究。但当时对这些技术的理解还不够深入，而且那时的计算机限制了可以被训练的卷积神经网络的规模和复杂性。近期，多伦多大学的博士生 Chris Maddison 与 Google DeepMind 的研究者在 ICLR 2015 上共同发表了一篇论文，文章中提到，用比赛视频数据库训练过的卷积神经网络能够在预测走法上拥有优秀表现。爱丁堡大学 Amos Storkey 团队发表在 ICML 上的论文同样体现出这个结果。许多研究者开始相信，或许深度学习和卷积神经网络真正能够在围棋上有所作为。Amos Storkey 说：“围棋是由棋盘上的各种模式来驱动，深度神经网络非常擅长从棋盘的各种模式中进行归纳总结，因此非常合适下围棋。”
　　这就是促使 Yuandong 将第一版黑暗森林发布在 KGS 服务器上的原因，此后，一个更加先进的版本很快攀升到了 KGS 服务器上的第三名，远好于之前的研究。这项排名要好于大多数开源程序，即便是人类棋手，也需要花费几年时间才能达到这个水平。人类棋手喜欢和它对弈的原因在于它的走法非常像人类棋手。但同时它又非常擅长作战策略。赢下局部和策略有关的战争有时需要非常具体的探索，而非单纯的模式识别。
　　很明显，通过将卷积神经网络和蒙特卡洛树搜索的结合可以提升程序在策略方面的能力。在过去五年中，计算机围棋程序通过蒙特卡洛树搜索取得了很大进步。蒙特卡洛树搜索是一种应用于计算机国际象棋程序中的树形搜索方法的“随机”版本。INRIA 的法国研究者团队第一次提出了蒙特卡洛树搜索。之后，这种方法很快在几个最好的计算机围棋团队中流传开来，并变成开发顶级围棋机器人所需要的标准方法。
　　今天发布的新论文描述了 DarkForest 的最新版本，被称作黑暗森林3，它使用了卷积神经网络和蒙特卡洛树搜索的结合。这个程序已经在 KGS 服务器上运营了一个多月，并取得了成人组第五的排名。这个排名意味着它已经成为全美国最好的前100名选手之一，也步入了世界最顶尖围棋机器人之列。
　　有趣的是，这个项目是由我们一个小团队仅花了几个月时间开发出来的，没有投入任何围棋专家资源（当然，除了比赛录像数据库）。这是对机器学习威力的一次伟大证明。
　　接下来明智的选择是将卷积神经网络和蒙特卡洛树搜索与增强学习结合起来，就像 Nicol Schraudolph 的开创性研究。使用增强学习的优势在于可以让机器自己与自己对战连续玩很多次游戏，自己训练自己。这个想法可以追溯到Gerry Tesauro的 “ NeuroGammon ” ，一个二十世纪九十年代的计算机西洋双陆棋程序，它将神经网络和增强学习结合了起来，并打败了这款游戏的世界冠军。我们知道，世界范围内的几个团队正在积极研究这一系统。我们的系统仍处在开发中。
　　Yann LeCun最后的结尾非常有深意：
　　Facebook对研究的态度素来是 “尽早发布，时常发布”，以此诠释开源软件世界颇受欢迎的座右铭。我们的围棋机器人系统已经运营在KGS服务器上，我们的论文已于早些时候发表在 arXiv.org。我们认为，当研究团队彼此迅速交换研究成果并以彼此研究为基础来推进研究时，科学会进步的更快。
　　谷歌和 Facebook 的围棋军备之争
　　谷歌和 Facebook 正在开展一场破解围棋的算法竞赛。此前，Facebook 一名研究员 Rob Fergue 认为，“围棋就是高级人工智能的目标。” 同时他也承认，Facebook 此举至少在小范围内是在与谷歌进行竞争。谷歌的围棋研究令人印象深刻。
　　如今，谷歌和 Facebook 使用深度学习来识别网络图片中的人脸；计算机能够识别出我们的语音命令；可以将一种语言翻译成另一种；有时甚至能够理解人类的自然语言。
　　这些技术都依赖于深度神经网络。如果你将足够多的关于树木的照片输入进去，它们就能学会识别出一棵树。如果输入足够多的对话，它们就能学会如何进行一段得体的对话。如果输入足够多的围棋走法，它们就能学会下围棋。
　　“围棋是由棋盘上的各种模式来驱动，深度神经网络非常擅长从棋盘的各种模式中进行归纳总结，因此非常合适下围棋。” 爱丁堡大学教授 Amos Storkey表示。他正在使用深度神经网络来处理围棋问题，就像谷歌和 Facebook 所做的那样。
　　他们相信这些神经网络最终能够缩小机器和人类之间的差距。在下围棋时，即使是最高段的棋手也无法检查出每一步走法所带来的所有结果。他们往往是基于盘面来进行决策。借助于深度学习，研究者就可以对这种方法进行复制。将成功走法的图片输入到神经网络中，从而帮助机器掌握每一次成功走法的模样。“ 这种方法并不是希望找出最优走法，而是学习人类的下棋风格，然后对人类棋手进行有效的复制。” Storkey说到。
　　谷歌和 Facebook 交战过程如下（美国当地时间）：
　　1）2015年11月，Facebook 在 Arxiv 发表论文，提到了一种将蒙特卡洛数搜索与深度学习相结合的方法，这套系统在与人类棋手的比赛中丝毫不落下风，公司表示，它甚至能够表现出人类般的下棋风格。毕竟，这套系统是从人类棋手的棋路中进行学习的。R&EMI COULOM Coulom 称这项结果“非常惊人”。
　　2）2015年12月初，谷歌 DeepMind 创始人 Hassabis 在接受视频采访被问到“或许你们会在围棋上有所突破？”Hassabis笑着说：“我现在不能谈论这件事，但是几个月后，我相信会出现一个大惊喜。”
　　3）日，Facebook 对去年11月发表的论文《Better Computer Go Player with Neural Network and Long-term Prediction》进行了更新，Yann LeCun 在个人 Facebook主页发表长篇声明。
　　4）日，谷歌DeepMind在《Nature》发表论文。
　　本文经微信公众号“机器之心”授权转载，编译来源于MIT TR、Facebook、Wired、Googleresearch。其他媒体转载请联系机器之心公众号获得授权。
　　投稿、提供新闻线索、转载授权请联系：
　　商务合作事宜请联系：
　　更多精彩文章：您可以通过回复&年份+月份&的形式接收精彩往期文章，比如回复&201410&即可接收2014年10月份的所有文章。您也可以返回主页点击屏幕下方子菜单获取最新文章、往期文章或直达赛先生微博。谢谢！
　　微信号：iscientists
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
知名IT评论人，曾就职于多家知名IT企业，现是科幻星系创建人
未来在这里发声。
新媒体的实践者、研究者和批判者。
立足终端领域，静观科技变化。深入思考，简单陈述。
智能硬件领域第一自媒体。}