Hi我擅长AI 大模型应用落地、意识解码与 AI 开发工具链。 创业路上用技术换时间一起把 AI 变成生产力 从深蓝到 AlphaGo六十年人机博弈人类到底输在哪一步AI 编年史 · 第 06 篇- 模块二【方法演进】· 三次范式 · 搜索与学习的分离与合流 · 人类经验的边际 专栏信息《AI 编年史一条能查到底的时间线》专栏专栏定位面向技术读者与自学者用 158 条带原始来源的条目把 AI 从 1912 年到 2026 年的关键转折讲清楚本系列共 10 篇分为四大模块 模块一【源头考据】(3 篇)年代盘点、起源1912/1936、感知机之争 模块二【方法演进】(3 篇)反向传播到 AlexNet、Transformer 到 GPT、人机博弈️ 模块三【工程实践】(1 篇)五席评审管线与八步门禁 模块四【读者工具】(3 篇)学习路线、面试 20 问、教学素材本文是模块二第 3 篇模块收尾。它把 1912 到 2019 的博弈线串起来回答一个问题人类在棋盘上到底输在哪一步‍ 作者与项目作者简介翁勇刚 WENG YONGGANGAI 编年史aihist维护者新概念龙虾-WeClaw 开发团队负责人理念“再早的历史也能查到它的源头” 站点地址https://aihist.net 作者 CSDNhttps://blog.csdn.net/yweng18 收录标准JSONhttps://aihist.net/api/v1/standard 同作者技术专栏WeClaw 实战指南CSDN 专栏 发现错误每个条目页页脚有纠错入口 摘要本文结构概览从 1912 年那台只会解残局的机械棋手起头到 1959 年塞缪尔的跳棋程序第一次从经验中改进策略再跳到 1992 年的 TD-Gammon——它在西洋双陆棋上已经用上了神经网络 时序差分然后是 1997 年深蓝纯搜索路线的巅峰2015 年 DQN 把从像素学做实2016 年 AlphaGo 把搜索与学习焊在一起2017 年 AlphaGo Zero 干脆把人类棋谱扔掉最后到 2019 年 AlphaStar 走进不完全信息与实时操作。背景棋类是人机对抗最干净的实验场规则封闭、胜负明确、可无限自我对弈。正因为它干净六十年里每一次范式变化都能被清楚看见。核心问题人类在棋盘上输的是算力、是直觉还是经验本身的价值解决方案把六十年拆成三次范式——手工评估 暴力搜索、学习评估 搜索、只靠自我对弈。三次范式的差别不在算力而在人类知识被放进系统的哪个位置。关键成果按生产库条目实测1959 塞缪尔跳棋程序通过自我对弈调整评估函数达到能战胜作者的业余强手水平1992 TD-Gammon 用神经网络 时序差分自我对弈达到接近人类冠军的水平1997 深蓝 3.5:2.5 战胜卡斯帕罗夫是专用搜索 并行计算在封闭规则任务上首次击败人类顶尖2015 DQN 用同一套网络与超参数学会 49 款 Atari 游戏多款超过人类专业测试者2016 AlphaGo 4:1 战胜李世石第二局第 37 手成为标志2017 AlphaGo Zero 不从人类棋谱学习三天内超越击败李世石的版本并以 100:0 取胜2019 AlphaStar 在《星际争霸 II》完整对局中达到宗师段位适合读者对强化学习与博弈感兴趣的人、想理解搜索与学习关系的工程师、AI 科普写作者阅读时长约 15 分钟关键词深蓝、AlphaGo、AlphaGo Zero、强化学习、蒙特卡洛树搜索、自我对弈一、先说结论人类输在三步一步比一步彻底1997 输给搜索。深蓝没有棋感它靠专用评估函数加并行穷举在封闭规则里压过了人。2016 输给搜索 学习的组合。AlphaGo 用策略网络缩小搜索宽度、价值网络缩小深度把暴力变成了有选择的暴力。2017 输得最彻底——输给不需要人类经验。AlphaGo Zero 不用人类棋谱只靠自我对弈三天内超过了击败李世石的版本并以 100:0 取胜。所以真正的答案不是算力比人强。是在规则完全明确、胜负可以自动判定的领域里人类经验的边际价值会迅速衰减到零。这句话有个关键限定——“规则完全明确、胜负可自动判定”。它解释了为什么棋类先失守而写代码、看病、做研究没有。二、1912 到 1959从会走棋到会改进第 02 篇讲过 1912 年的 El Ajedrecista机械识别棋子、走完残局、完成将杀。它是专用机器规则写死在结构里。四十七年后1959 年塞缪尔Arthur Samuel的跳棋程序做了一件根本不同的事它会调整自己的评估函数。做法是自我对弈程序和自己下很多盘根据胜负去修正什么样的局面算好的权重。档案里的结论是它最终达到能战胜作者的业余强手水平。这三步的差别值得记住年份系统知识从哪来会不会改进1912El Ajedrecista机械结构写死不会1959Samuel 跳棋人类给的评估特征 自我对弈调权重会调权重1997深蓝人类专家写的评估函数 巨型开局库不会靠人力迭代塞缪尔那句被引用最多的话大意是与其教机器下棋不如让它自己学。这句话在 1959 年是设想在 2017 年成了事实。三、1992一条被低估的支线在深蓝之前五年有一条支线已经把学习做到了接近人类冠军的水平——TD-Gammon。Tesauro 让神经网络通过自我对弈与时序差分学习评估棋局在西洋双陆棋上达到接近人类冠军的水平。它为什么重要不需要手工特征。网络直接从棋盘状态学评估值。不需要人类棋谱。对手就是自己。时序差分TD不用等下完一整局才知道好坏用下一步的估计来修正这一步的估计。这三条二十四年后原封不动地出现在 AlphaGo Zero 里。那为什么 TD-Gammon 没有引爆因为西洋双陆棋有骰子随机性掩盖了评估误差深度搜索的收益不明显而且当时没有 GPU、没有大规模算力。方法对了条件没到——和第 04 篇讲的是同一个规律。四、1997搜索路线的巅峰1997 年 5 月IBM 深蓝以 3.5:2.5 战胜国际象棋世界冠军卡斯帕罗夫。它的技术构成用一句话说是专用硬件 并行搜索 人类专家评估 巨型开局库。专用芯片做走子生成与评估每秒能评估上亿个局面评估函数是人类大师和国际大师一起调的开局库收录了大量人类对局避免在开局阶段浪费算力。这是一次工程胜利不是学习方法胜利。它证明的是在国际象棋这种分支因子约 35、搜索深度可以做到十几步的领域暴力搜索加好评估就够了。它没有证明的是这套方法能推广到围棋——分支因子约 250同样深度下局面数是天文数字暴力搜索必然失败。这就是为什么 1997 到 2016 之间隔了十九年。不是没人试是方法不对。五、2015先把感知这一环补上在 AlphaGo 之前2015 年 2 月DQN 登上《Nature》。DeepMind 用同一套网络结构与超参数从原始像素和游戏得分信号学会 49 款 Atari 游戏其中多款超过人类专业测试者。它的贡献是把感知与决策接起来输入是屏幕像素210×160×3 的图像输出是手柄动作中间没有人工特征。这一步很关键。棋类游戏的输入是结构化的棋盘状态天然适合搜索而 Atari 的输入是像素必须先看懂。DQN 证明了深度网络可以从像素里学出可用的状态表示再用它做决策。DQN 能成靠两个不显眼但关键的技巧技巧做法解决什么经验回放把每一步的状态、动作、奖励、下一状态存进缓冲区训练时随机采样相邻样本高度相关按顺序训会让网络追着最新数据跑遗忘旧知识目标网络用一份更新更慢的网络算 TD 目标隔一段时间才同步目标值跟着参数一起动训练会像追自己的尾巴一样发散这两条今天看很普通但在 2015 年是能把强化学习跑起来和跑不起来的分界。深度强化学习的大部分工程难度都在让训练稳定上而不是在算法本身。同一年 12 月ResNet 用残差连接让上百层网络可训练。深度网络的容量上限被抬高了一档。六、2016把搜索和学习焊在一起2016 年 1 月AlphaGo 登上《Nature》结合深度神经网络、蒙特卡洛树搜索与强化学习。3 月它以 4:1 战胜李世石。它的结构可以拆成四块1. 策略网络policy 给定局面预测下一步走哪里的概率分布 2. 价值网络value 给定局面预测最终胜率 3. 蒙特卡洛树搜索MCTS 用上面两个网络引导搜索 4. 强化学习 自我对弈 用对弈结果反过来训练两个网络关键在于两个网络各解决一个维度问题传统搜索的做法AlphaGo 的做法分支太宽250 种走法剪枝 启发式策略网络直接给高概率走法把宽度压到几十深度太深无法到底评估函数估值价值网络直接估胜率把深度截断搜索负责准学习负责省。这是六十年里第一次把两条线真正焊在一起。蒙特卡洛树搜索本身分四步值得看清楚因为搜索到底在搜什么常被误解步骤做什么AlphaGo 的改造1. 选择从根节点按 UCB 往下选平衡已赢得多与探索得少用策略网络给先验概率不让每条分支等权2. 扩展到达叶子后新增一个未试过的动作同上优先扩展高概率动作3. 评估原版是随机走到底看输赢代价高、噪声大用价值网络直接估胜率辅以快速走子4. 回传把结果沿路径回传更新访问次数与胜率同原版UCB 的核心是一个权衡公式选择分数 平均收益 c × √(ln N总 / N该节点) ↑ 利用已有经验 ↑ 奖励探索前半项让搜索集中心力在看起来好的分支后半项保证冷门分支也有机会被试。c 就是信经验还是多试试的旋钮。AlphaGo 真正的改动在第 3 步和第 1 步把随机走到底换成网络直接估把均匀探索换成网络给先验。两处都指向同一件事——用学到的知识缩小搜索空间。第 37 手是这场比赛最著名的时刻那是一步人类棋手几乎不会走的棋赛后被称为AI 创造力的象征。但更准确的解读是——它证明了人类棋谱的分布不是唯一解。这一步不是机器有灵感是机器没被人类的先验限制住。七、2017把人类经验扔掉2017 年 10 月AlphaGo Zero 发布不从人类棋谱学习仅靠自我对弈与蒙特卡洛树搜索在三天内超越击败李世石的版本并以 100:0 取胜。这是这条线上最重要的一次实验因为它是受控实验自变量训练数据来源人类棋谱 vs 纯自我对弈因变量棋力结果不用人类棋谱的版本更强它推翻了一个长期假设顶尖人类对局是宝贵的训练数据。至少在围棋上不是——人类棋谱既带来有用的先验也带来人类的下法偏好也就是盲区而后者的代价更大。顺带说一句 2019 年的 AlphaStar在《星际争霸 II》完整对局中达到宗师段位。它把三件新东西带进来——不完全信息看不到对手全图、实时操作动作有延迟与频率限制、长时程规划。这三条比围棋更接近真实世界也说明搜索 学习这套框架可以外推到更复杂的环境。八、人类到底输在哪一步回到核心问题。三个候选答案答案一输在算力。不完整。深蓝确实靠算力但 AlphaGo 的计算量并不比深蓝高多少——它靠的是把算力用在该搜的地方。AlphaGo Zero 甚至更省因为它的搜索有更好的先验。答案二输在直觉。方向对但不准确。机器并不是有了直觉而是用网络替代了评估函数。人类的直觉是几十年对局压缩成的判断网络的直觉是几百万局自我对弈压缩成的权重。两者是同一种东西的不同实现。答案三我认为最准确输在经验的边际价值为零。在规则封闭、胜负可判定的领域里自我对弈可以无限生成高质量数据成本趋近于零。而人类经验是稀缺的、带偏好的、更新缓慢的。当数据可以自己造人类经验就从必需品变成可选项再从可选项变成可能有害的偏置。这个结论有明确的边界也就是它不适用的地方条件棋类现实任务规则是否封闭是否规则模糊、会变胜负能否自动判定能常常不能要人来评能否无限自我对弈能不能真实环境有成本、有风险人类经验是否稀缺是是但不可或缺所以AI 在棋盘上赢了不等于AI 在现实里赢了。差别就在这四行。补一句正在被测试的前提上面整套结论都建立在规则封闭、胜负可判定上。2019 年的 AlphaStar 已经在削弱它——星际有战争迷雾、有实时操作限制——但那仍然是有明确胜负的对手博弈。真正没有胜负函数的领域科研、医疗、写代码自我对弈这套方法得换信号人类反馈RLHF、可自动跑的测试用例或者形式化证明。所以输在哪一步这个问题棋盘上有答案现实里还没有。九、总结三个关键点三次范式手工评估 搜索深蓝→ 学习评估 搜索AlphaGo→ 纯自我对弈AlphaGo Zero。差别在人类知识被放在哪里。第 37 手不是灵感是没被人类先验限制住。它的意义是证明了人类棋谱不是唯一解。人类输在经验的边际价值归零而这个归零只在规则封闭 胜负可判 可无限自对弈的条件下发生。一个公式博弈能力 搜索准 × 评估省 × 数据自我生成深蓝缺第三项靠人力迭代AlphaGo 三项齐全但第一项带着人类先验AlphaGo Zero 三项齐全且没有人类偏置。下一篇《五个模型投票八道门禁一个内容档案怎么保证每条都能查》——进入模块三讲这个站点自己的工程管线。思考题如果围棋的胜负不能自动判定比如需要人类裁判AlphaGo Zero 的路线还成立吗现实任务里哪一类最接近规则封闭 胜负可判它们会不会是下一个失守的领域附录 A本文引用的条目年份条目来源类型可信度1912El Ajedrecista呼应第 02 篇百科条目single1959Samuel 跳棋程序期刊论文DOIlikely1992TD-Gammon会议论文 百科verified1997深蓝战胜卡斯帕罗夫机构历史页likely2015DQNNature期刊论文DOIlikely2016AlphaGo 论文期刊论文likely2016AlphaGo 4:1 李世石期刊论文 机构页likely2017AlphaGo Zero期刊论文DOI 百科verified2019AlphaStar期刊论文DOI 百科verified附注深蓝1997与 AlphaGo 对局2016在档案里都是likely来源家族只有官方发布页一族。比分、日期、对局结果可查更细的用时、读秒、具体着法则超出我核对的范围正文因此停在能确认的粒度。附录 B参考资料本文归因入口唯一外链https://aihist.net/go/csdn06上一篇《Transformer 到 GPT自注意力如何取代循环2017 到 2020 到底解决了什么》下一篇《五个模型投票八道门禁一个内容档案怎么保证每条都能查》版权声明本文为 CSDN 博主「翁勇刚」的原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接及本声明。