史上最强AI棋手降临！

今天，DeepMind的通用棋类算法，也是迄今最强的棋类AI——AlphaZero，经过同行评议，被顶级期刊 Science 以封面论文的形式，正式引入学界和公众的视野。

一年前，DeepMind静静地在arXiv贴出了AlphaZero的预印版论文，当即就在圈内引发轰动：AlphaZero从零开始训练，2小时击败最强将棋AI，4小时击败最强国际象棋AI，8小时击败最强围棋AI（李世石版AlphaGo）。

现在，DeepMind将完整评估后的AlphaZero公之于众，不仅验证了上述结果，还补充了新的提升。

AlphaZero没有使用人类知识（除了棋类基本规则），从零开始训练，快速掌握日本将棋、国际象棋和围棋这三种复杂棋类游戏，展现出令人耳目一新的独道风格，拓展了人类智慧，并证明了机器拥有创造性的可能。

“计算机程序通常会反映出编程者的侧重和偏见，但由于AlphaZero通过自我对弈训练，我认为它体现了棋的真谛（truth）。正是这种出色的理解使其能够超越世界顶级的传统棋类引擎，而且每秒计算的落子位置要少得多。”

AlphaZero证明了机器也能成为专家，机器生成的知识也值得人类去学习。“AlphaZero以这样一种强大而有用的方式超越了我们，”卡斯帕罗夫写道：“只要在虚拟知识（virtual knowledge）能够生成的领域，这个模型都可能复制到任何其他任务上。”

下面，就让我们一起来看看，AlphaZero的论文作者David Silver、Thomas Hubert、Julian Schrittwieser和Demis Hassabis亲自撰文，阐述他们如何用5000个TPU，让AlphaZero快速掌握将棋、国际象棋和围棋。

传统国际象棋的引擎依赖于由人类高手玩家“手工制作”的数千条规则和启发式方法，它们都试图解释游戏中可能发生的每一种结果。

日本将棋程序也是特定于游戏的，使用与国际象棋程序类似的搜索引擎和算法。

AlphaZero则采用了一种完全不同的方法，用深度神经网络和通用算法取代了这些“手工制作”的规则，而这些算法对基本规则之外的游戏却一无所知。

在国际象棋中，AlphaZero仅用了4个小时便首次超越了Stockfish；在日本将棋中，AlphaZero在2小时后首次超过Elmo；在围棋方面，AlphaZero在2016年的比赛中，经过30个小时的鏖战，首次击败了传奇棋手李世石。注：每个训练步骤代表了4096个落子位置。

为了学习每一个游戏，一个未经训练的神经网络通过强化学习与自己对打数百万次。

一开始，它完全是随机的，但是随着时间的推移，系统从输赢中开始学习，并根据神经网络的参数进行调整，使其在未来可以选择更有利的走法。

网络需要的训练量取决于游戏的风格和复杂性，国际象棋需要9小时，将棋需要12小时，围棋需要13天。

训练后的网络用于指导搜索算法（蒙特卡罗树搜索，MCTS），选择游戏中最有有利的动作。对于每次移动，AlphaZero仅搜索传统国际象棋引擎所考虑的一小部分位置。

例如，在国际象棋中，它每秒仅搜索6万个位置，相比之下，Stockfish大约有6千万个位置。

这些经过全面训练的系统是在国际象棋(Stockfish)和将棋(Elmo)最强大的“手工引擎”以及我们之前自学的AlphaGo Zero系统(已知最强大的围棋选手)的帮助下进行测试的。

在每次评估中，AlphaZero都毫无悬念地击败了对手：

和围棋一样，我们对AlphaZero在国际象棋上的创造性突破感到兴奋，自从计算机时代以来，人工智能时时面临着巨大挑战，包括巴贝奇、图灵、冯·诺依曼在内的早期计算机先驱人物，都曾试图设计国际象棋程序，但AlphaZero的用途不仅仅是国际象棋、将棋和围棋。

为了创建能够解决各种现实问题的智能系统，它们需要更加灵活，能够适应新情况。虽然目前在实现这一目标方面取得了一些进展，但AI的通用化问题仍然是研究中的一项重大挑战，经过训练的AI系统面对特定任务时能够以极高标准完成，但任务只要稍有变化往往就会失败。

AlphaZero掌握了三种不同的复杂游戏，这可能是朝着解决这一问题迈出的重要一步。尽管目前还处于早期阶段，但AlphaZero取得的进步，以及在蛋白质折叠系统AlphaFold等其他项目上的令人鼓舞的结果，让我们对实现通用学习系统的使命充满信心，相信未来我们能够找到一些新的解决方案，解决最重要、最复杂的科学问题。