简介本资源为高校强化学习课程期末考试真题及详解面向计算机、人工智能及相关专业本科生与考研复习者聚焦核心算法理解与公式推导能力训练。试卷覆盖折扣因子、贝尔曼方程、MDP建模、蒙特卡洛与TD方法对比、SARSA/Q-learning更新机制、值迭代与策略迭代实现、状态-行动值函数计算等十大关键知识点题型包括理论推导、公式代入求解与算法特性辨析直击课程考核重点与易错难点。资源为1个PDF文件共332KB内容排版清晰、步骤完整、答案附带详细推导过程如γ0.9下四状态网格世界的贝尔曼方程求解、SARSA与Q-learning的Q值更新数值演算等便于对照学习与自我检测。目前已有290人下载学习是巩固概念、检验掌握程度、冲刺期末高分的高效备考材料。1. 强化学习期末考题到底在考什么一张“智能体成长体检表”的真相你有没有翻过一份强化学习的期末试卷看到“贝尔曼方程”“SARSA更新”“γ0.9”这些词第一反应是这不像考试题倒像在给一个会走路、会思考、还会犯错的机器人做年度体检——没错这份《A卷强化学习期末考试原题加答案》根本不是冷冰冰的题目集它是一张高度结构化的智能体能力诊断图谱。它不考死记硬背而是用十道题把一个AI决策系统从“出生”初始化到“成熟”收敛最优策略的全部关键发育节点挨个摸一遍脉它能不能算清未来奖励的“现值”折扣因子会不会在迷宫里边走边学TD在线更新敢不敢用别人走过的路来训练自己off-policy的Q-learning甚至它连“犯错后怎么改”策略迭代、“没地图时怎么活”无模型 vs 基于模型都安排了专项测试。这不是出题人在刁难学生而是在用最精炼的数学语言还原一个智能体真正学会“做决定”的全过程。搞懂这套题你就不是在背答案而是在拆解一台决策引擎的出厂说明书。2. 贝尔曼方程所有价值计算的“心脏起搏器”为什么它一跳整个强化学习就活了贝尔曼方程不是公式它是强化学习世界的“因果律”。它说一个状态的价值不取决于你现在多爽而取决于你接下来能走多远、走多稳、拿多少奖励。这句话听着像鸡汤但落到网格世界那四格小地图上立刻变成可计算的硬逻辑。2.1 它到底长什么样用s₁这格子讲透看题干第一问s₁有50%概率向下到s₃奖励150%向右到s₂奖励1但它自己的即时奖励却是-1。它的贝尔曼方程写出来是\nu_\pi(s_1) 0.5 \times [1 \gamma \nu_\pi(s_3)] 0.5 \times [-1 \gamma \nu_\pi(s_2)]注意这里没有“猜”没有“大概”只有两个确定动作、两个确定转移、两个确定奖励再叠上一个确定的折扣因子γ。这个式子的意思直白地说就是“s₁这格子值多少钱等于它向右走那条路能带来的钱1块现钱未来s₂值的钱打九折和它向下走那条路能带来的钱-1块现钱未来s₃值的钱打九折取平均。”——它把“未来”这个虚无缥缈的概念硬生生钉死在“下一步能拿到什么下下步值多少钱”这两个锚点上。2.2 为什么必须有它没有它强化学习就是无源之水想象一个没有贝尔曼方程的世界智能体走到s₁看到奖励-1扭头就走觉得这地方真倒霉走到s₂看到奖励1开心得原地转圈。它永远不知道s₁虽然现在亏1块但往下走两步就能进s₄这个“金库”奖励0但终止意味着稳赚不赔s₂虽然现在赚1块但往右一走就撞墙s₄是终止态没后续收益。贝尔曼方程就是那个逼它算“账本”的会计——它强制智能体把每一步的即时快感和整条路径的长期收益捆在一起算总账。没有这个“递归定义”价值函数就无法自我更新算法就只能瞎试永远学不会“忍一时之痛换长久之利”。2.3 γ0.9不是随便写的数字它是智能体的“性格参数”题干里反复出现γ0.9这不是凑整数这是在给智能体设定“耐心值”。γ越接近1比如0.99说明它极度看重长远回报愿意为十年后的100块放弃今天到手的99块γ越接近0比如0.1说明它是个彻头彻尾的“活在当下派”明天的事明天再说今天能拿1块绝不多等一秒。在s₁的方程里代入γ0.9算出来ν(s₁)≈−0.5而如果γ0.5结果会变成−0.75——同一个状态在不同“性格”的智能体眼里价值天差地别。考试考γ考的从来不是计算而是你懂不懂强化学习不是优化单步奖励而是在教一个有“时间观”的决策者如何在“现在”和“未来”之间做权衡。提示贝尔曼方程里的ν(s)不是固定值而是待求解的未知数。题干中列出四个方程本质是一个四元一次方程组。解它就是在求这个小世界的“价值地形图”——哪里是高地高价值哪里是洼地低价值这张图就是智能体后续所有行动的导航依据。3. 在线 vs 离线蒙特卡洛与时间差分一场关于“学习时机”的根本分歧强化学习最常被初学者混淆的不是公式本身而是“什么时候更新”。有人非要等一局棋下完才动笔记分蒙特卡洛有人每走一步就立刻改分TD。这两种节奏背后是两种完全不同的学习哲学。3.1 蒙特卡洛回合制玩家的“复盘大会”蒙特卡洛方法就像一个围棋高手打完一盘棋不急着下一把而是拉着徒弟坐下来从最后一个落子开始倒推“刚才这手‘点三三’直接导致对方活出大龙损失30目再往前我贪吃那颗子给了他腾挪空间……”它需要完整的回合轨迹episode从起点到终点中间所有状态、动作、奖励一个都不能少。题干第八问给出的流程就是它的标准操作执行策略直到终止比如掉下悬崖、到达终点从最后一步倒着算累计回报Gₜ rₜ γrₜ₊₁ γ²rₜ₊₂ …用Gₜ去更新每一个经历过的状态的值。它的优势无偏——因为用了真实发生的完整回报估计值长期来看绝对准确。劣势高方差、延迟大——一局可能全输Gₜ就是个负数大海啸把前面所有好状态的估值也冲垮而且你得等一整局结束才能学实时性为零。3.2 时间差分TD即时反馈型选手的“边走边记”TD方法则像一个股票盯盘员。他不等收盘看到股价从10块涨到10.5块rₜ₊₁立刻心算“按我昨天预测的10.2块这波涨超预期0.3块说明我昨天对这只票的估值太保守了今天得往上提一点”它的核心是自举bootstrapping用当前对下一个状态的估计值ν(sₜ₊₁)来修正对当前状态的估计值ν(sₜ)。题干第二问给出的TD更新式简化后就是\nu(s_t) \leftarrow \nu(s_t) \alpha \left[ r_{t1} \gamma \nu(s_{t1}) - \nu(s_t) \right]括号里rₜ₊₁ γν(sₜ₊₁)叫做TD目标ν(sₜ)是旧估计它们的差叫TD误差——这就是“超预期”的量化。TD的优势低方差、可在线学习——每走一步就学一步响应快数据利用率高。劣势有偏——因为ν(sₜ₊₁)本身也是个估计是“用估计去修正估计”初始不准就会一路带偏。3.3 关键区别不在“公式”而在“等待”与“不等待”的底层逻辑特性蒙特卡洛 (MC)时间差分 (TD)学习时机必须等到回合结束离线每一步后立即更新在线所需信息完整轨迹s₀,a₀,r₁,…,sₜ,done仅需一步(sₜ, aₜ, rₜ₊₁, sₜ₊₁)偏差/方差无偏高方差有偏低方差适用场景终止必然发生如游戏通关/失败任务可能无限持续如机器人控制题干第二问的答案里那句“蒙特卡洛是离线算法TD是在线算法”绝不是术语堆砌。它直指一个工程现实如果你的智能体在控制一个化工反应釜等“一整轮反应结束”再调整参数反应早爆了。这时候TD的“边走边学”就是救命稻草。注意所谓“在线/离线”指的是算法能否在与环境交互过程中实时更新而非是否联网。“在线”在这里是强化学习领域的专有术语与日常说的“在线考试”无关。4. SARSA vs Q-learningon-policy 与 off-policy 的生死抉择谁在替你做主如果说蒙特卡洛和TD之争是“学得快慢”的问题那么SARSA和Q-learning之争就是“听谁的话”的问题。一个坚持“我怎么走就怎么学”on-policy另一个信奉“你走你的阳关道我学我的独木桥”off-policy。这场博弈决定了智能体是忠于自己还是善于借力。4.1 SARSA一个老实人的自我修养SARSA的名字就是它的行动纲领State →Action →Reward →State →Action。它更新Q值时用的不是“理论上最好的下一步”而是“我实际要走的那一步”的Q值。题干第三问的公式清晰无比Q(s_t, a_t) \leftarrow Q(s_t, a_t) \alpha \left[ r_{t1} \gamma Q(s_{t1}, a_{t1}) - Q(s_t, a_t) \right]关键就在Q(sₜ₊₁, aₜ₊₁)—— 这个aₜ₊₁必须是智能体按照当前策略π比如ε-greedy实际选出来的动作。这意味着SARSA的学习过程和行为策略是同一套人马。它很“老实”我探索时选了个烂动作我就认了把这个烂动作的后果也学进去我利用时选了最优动作我也只学这个最优动作的收益。它的优点安全、稳定、收敛有保证——因为它永远在评估自己正在执行的策略。缺点学得慢、探索效率低——为了学好“探索”它得真刀真枪去试错。4.2 Q-learning一个野心家的弯道超车Q-learning则彻底撕掉了“言行一致”的标签。它的更新公式是Q(s_t, a_t) \leftarrow Q(s_t, a_t) \alpha \left[ r_{t1} \gamma \max_{a} Q(s_{t1}, a) - Q(s_t, a_t) \right]看那个maxₐ′ Q(sₜ₊₁, a′)—— 它压根不管智能体下一步实际会选啥只关心“在sₜ₊₁这个状态下理论上最好的动作值是多少”。这就意味着Q-learning可以一边用一个“胆小怕事”的探索策略比如高ε的ε-greedy到处乱撞收集数据一边却用这些数据去偷偷训练一个“胆大包天”的最优策略greedy。它在“用一套策略生成数据用另一套策略更新价值”。优点样本效率极高、收敛快、能学到比行为策略更优的策略。缺点不稳定、易发散、可能学出危险策略——因为它的学习目标max Q和实际行为ε-greedy脱节就像一个教练一边让队员练防守一边在战术板上画进攻绝杀。4.3 常见误区 / 易混概念别再把“on/off”当成玄学初学者常把on-policy/off-policy理解成“是否在线学习”这是最大误区。请牢记以下三点误区1认为SARSA不能在线学习→ 错SARSA和TD一样都是在线算法每步都更新。on/off指的是学习策略与行为策略是否相同不是指更新时机。误区2认为Q-learning一定比SARSA好→ 错在安全至上的场景如自动驾驶刹车策略SARSA的“保守”反而是优势。它学的是“在当前探索策略下如何安全地达到目标”而Q-learning学的是“理论上最快捷的路径”后者可能要求你连续三次闯红灯。误区3混淆“策略”与“动作选择机制”→ SARSA的策略π是指导它如何选aₜ₊₁的那个规则如ε-greedyQ-learning的策略是它内心认定的最优策略即argmax Q这个策略它自己并不执行只是用来指导学习。两者根本不在一个维度上对话。题干第四问的计算题正是SARSA精神的完美体现它明确告诉你“接着转移到s₂并选择a₂作为下一步行动”这个a₂就是行为策略选出的所以你必须用Q(s₂, a₂)3代入而不是去查Q(s₂, a₁)0或找最大值。考的不是计算是看你懂不懂SARSA的每个字母都在为“真实发生”而存在。5. 值迭代 vs 策略迭代通往最优的两条高速公路哪条更适合你的路况当强化学习问题小到可以建模比如题干第六问的三状态MDP我们就不必靠试错学习了可以直接用动态规划“算”出最优解。值迭代Value Iteration和策略迭代Policy Iteration就是两条经典路径。它们目标一致路线迥异。5.1 值迭代极简主义者的“一步到位”值迭代的哲学是“我不关心你现在用什么策略我只关心每个状态本身值多少钱。只要我把所有状态的价值都算准了最优策略自然浮现——哪个动作能让价值涨最多就选它。”它的更新公式题干第五问是\nu(s) \leftarrow \max_{a} \left[ r(s,a) \gamma \sum_{s} P(s|s,a) \nu(s) \right]看这个maxₐ—— 它在每一次迭代中都暴力遍历当前状态s下所有可能的动作a计算每个a能带来的“即时奖励未来价值期望”然后取最大值直接赋给ν(s)。它不保存任何策略只维护一个价值数组。优点内存省、实现简单、概念干净。缺点收敛慢、策略隐含——你得等ν(s)完全收敛后再额外跑一遍π*(s) argmaxₐ [...]才能得到最终策略。5.2 策略迭代务实主义者的“螺旋上升”策略迭代则采取“评估-改进”的双循环。它先猜一个策略π比如全随机然后策略评估用贝尔曼方程解出这个π下的真实价值νπ(s)这是一个线性方程组求解过程策略改进基于νπ(s)对每个s重新选一个能让r(s,a) γΣPνπ(s)最大的a形成新策略π′重复用π′再评估再改进直到π不再变化。它的优势收敛极快通常几步就停、每一步都有明确策略——你随时可以中断拿当前π去用。劣势每次策略评估都要解方程组计算开销大尤其状态多时。5.3 一张表看清本质差异维度值迭代 (Value Iteration)策略迭代 (Policy Iteration)核心对象直接迭代价值函数 ν(s)交替迭代策略 π 和价值函数 νπ(s)每次迭代对每个s计算所有a的值取max更新ν先解νπ精确再对每个s选最优a更新π收敛速度较慢需多次迭代ν才接近最优极快策略常在几次内就收敛计算负担每次迭代轻只需查表计算每次策略评估重需解线性系统中间产物只有ν(s)策略需额外提取每一步都有可用的策略π题干第五问的答案里“值迭代通过迭代更新状态价值函数…直到收敛”和“策略迭代重复执行策略评估和策略改进直到策略不再改变”这两句话精准抓住了二者灵魂。考试考这个是在检验你是否理解动态规划不是黑箱而是一套可拆解、可选择的工程方案——面对一个已知模型的小世界你是选“轻装上阵慢慢磨”还是“重装出发快准狠”6. 基于模型 vs 无模型当世界给你一张地图你敢不敢扔掉它强化学习的终极战场是智能体与环境的互动。而这场互动的前提是智能体对环境的“认知”。题干第七问抛出了一个根本性问题如果环境的规律转移概率P、奖励R你全知道要不要用如果一无所知又该怎么办这就是基于模型Model-Based与无模型Model-Free的分水岭。6.1 基于模型手握地图的“战略家”基于模型方法假设你有一张完整的“世界地图”——即已知所有状态s、动作a下的转移概率P(s′|s,a)和即时奖励r(s,a)。有了这张图你就可以规划Planning不真动手先在脑子里推演。比如用值迭代纯靠数学计算几秒钟就得出最优策略模拟Simulation用模型生成大量虚拟数据喂给Q-learning等算法大幅减少真实交互次数。题干第七问指出其优点“样本效率高”“能快速适应”——因为模型让你“未卜先知”。但代价巨大建模本身可能比学习还难。一个真实的机器人导航环境千变万化光线、地面摩擦、行人干扰想精确写出P(s′|s,a)几乎不可能。此时模型一旦出错所有基于它的规划都会南辕北辙。6.2 无模型赤手空拳的“实践家”无模型方法彻底放弃建模幻想信奉“实践出真知”。它不预设任何世界规律只靠与环境的一次次碰撞从原始的(s, a, r, s′)四元组中硬生生提炼出Q值或ν值。蒙特卡洛、SARSA、Q-learning全是此列。它的优势鲁棒、普适、易于实现——你不需要理解发动机原理只要知道踩油门车会跑就能学会开车。题干第七问点明其短板“样本效率低”“收敛慢”——因为所有知识都来自真实试错而试错是有成本的机器人摔一次可能花掉几百块维修费。6.3 场景选择不是谁优谁劣而是谁更合身场景类型推荐方法原因经典控制、棋类游戏规则清晰、状态有限基于模型模型易构建如国际象棋的走法规则规划能穷尽所有可能效率碾压。机器人导航、自动驾驶环境复杂、动态未知无模型无法精确建模但传感器数据摄像头、激光雷达源源不断适合在线学习。仿真环境训练真实部署混合Model-Free Model-Based Prior先在高保真仿真中用无模型学策略再用少量真实数据微调或用模型生成伪数据增强。题干第七问的应用场景举例正是这种工程思维的体现。它没有说“无模型更好”而是冷静指出“当环境模型容易获取且稳定时用基于模型当环境复杂、难以建模时用无模型。”——考试考这个考的是你有没有跳出课本看到技术背后的现实约束。从那以后我每次设计一个强化学习实验都会先在纸上画两栏左边写“我知道什么”是否有P、R的真值右边写“我能承受什么”有多少真实交互预算对安全的要求有多高。只有这两栏填平了我才敢点下“运行”按钮。希望帮到你。本文还有配套的精品资源点击获取