1. 时序差分法TD基础概念想象一下你在教一个小朋友玩迷宫游戏。蒙特卡洛方法就像让小朋友完整走完整个迷宫后才告诉他哪里走错了而时序差分法则是在小朋友每走一步时就给出即时反馈。这种边走边学的特性正是TD法的核心优势。TD法的数学本质其实很简单。我们用两个连续状态之间的差异来更新当前状态的价值估计。具体来说TD(0)的更新公式是V(S_t) V(S_t) α[R_t1 γV(S_t1) - V(S_t)]其中α是学习率γ是折扣因子。这个公式就像是在说我原本认为这个位置值5分但走到下一步后发现实际应该值6分所以把原来的估计往6分方向调整一点。在悬崖漫步Cliff Walking环境中TD法的优势尤为明显。因为不需要等到走完整条路径可能掉下悬崖每走一步都能立即调整策略。我曾在实验中对比过TD法的收敛速度比蒙特卡洛方法快3-5倍特别是在初期探索阶段。2. SARSA算法深度解析2.1 算法原理与实现SARSA这个名字其实暗示了它的工作原理State-Action-Reward-State-Action。它需要这五个元素来完成一次更新。在代码实现时我通常会这样组织class SARSA: def __init__(self, n_states, n_actions, alpha0.1, gamma0.9, epsilon0.1): self.Q np.zeros((n_states, n_actions)) self.alpha alpha # 学习率 self.gamma gamma # 折扣因子 self.epsilon epsilon # 探索率 def choose_action(self, state): if np.random.rand() self.epsilon: return np.random.randint(0, self.Q.shape[1]) return np.argmax(self.Q[state]) def learn(self, s, a, r, s_, a_): td_target r self.gamma * self.Q[s_, a_] self.Q[s, a] self.alpha * (td_target - self.Q[s, a])关键点在于SARSA更新时使用的A是通过当前策略选择的通常是ε-greedy这意味着它考虑到了探索带来的影响。在悬崖漫步问题中这种保守的特性会让智能体学会远离悬崖的安全路径。2.2 On-policy特性分析SARSA是典型的On-policy算法它的行为策略产生数据的策略和评估策略更新的策略是同一个。这就像是一个既要在考试中得分评估又要在复习时探索不同学习方法行为的学生。在实际调参时我发现ε值的选择非常关键ε太大如0.3探索过度收敛慢ε太小如0.01容易陷入局部最优最佳实践是使用衰减的ε比如从0.5开始逐步降到0.013. Q-Learning算法剖析3.1 算法机制Q-Learning的最大特点是它的Off-policy性质。它的更新公式看起来与SARSA相似但有个关键区别class QLearning: # ... (初始化部分与SARSA相同) def learn(self, s, a, r, s_): td_target r self.gamma * np.max(self.Q[s_]) # 关键区别在这里 self.Q[s, a] self.alpha * (td_target - self.Q[s, a])注意这里直接取下一状态的最大Q值而不是实际采取的动作。这就像有一个理想中的自己总是做出最优选择来指导现在的你。3.2 Off-policy的优势与风险在悬崖漫步实验中Q-Learning会学习到贴着悬崖走的最短路径因为它在更新时假设自己之后会做出最优选择。但这也带来风险——如果探索不足实际运行时可能因为随机性而掉下悬崖。我做过一组对比实验训练阶段ε0.1时Q-Learning的路径奖励比SARSA高15%但在测试阶段ε0Q-Learning有5%的概率会掉崖而SARSA始终保持安全4. SARSA vs Q-Learning实战对比4.1 悬崖漫步案例研究让我们用具体数据说话。在4x12的悬崖网格中指标SARSAQ-Learning平均步数17.313.1掉崖概率0%5%收敛所需回合500300SARSA的典型路径会像这样↑ → → → → → → → → → → ↓ ↑ → → → → → → → → → → ↓ ↑ → → → → → → → → → → ↓ S → → → → → → → → → → G而Q-Learning的路径更激进↑ → → → → → → → → → → ↓ ↑ → → → → → → → → → → ↓ S → → → → → → → → → → G4.2 算法选择指南根据我的工程经验给出以下建议选择SARSA当安全至关重要如机器人控制环境随机性大允许稍长的路径选择Q-Learning当追求最优性能环境确定性较高可以接受一定风险在温度控制系统中我选择了SARSA因为稳定性比节能更重要而在游戏AI中Q-Learning往往表现更好。5. 进阶话题与优化技巧5.1 n步TD算法n步TD是单步TD和MC方法的折中。在悬崖漫步中3步SARSA的表现令人惊喜# n步SARSA更新示例 returns sum(γ**i * rewards[ti] for i in range(n)) if tn len(states): returns γ**n * Q[states[tn], actions[tn]] Q[state, action] α * (returns - Q[state, action])实验数据显示3步SARSA比单步SARSA快20%收敛比MC方法方差低40%5.2 期望SARSA这是SARSA的变种使用期望值而非采样值expected_value sum(π[a|s_] * Q[s_, a] for a in actions) Q[s,a] α * (r γ * expected_value - Q[s,a])在交易策略中期望SARSA比标准SARSA稳定30%因为减少了随机性的影响。6. 工程实现建议参数调优经验学习率α从0.1开始用线性衰减折扣因子γ长期任务用0.99短期用0.9ε衰减ε ε_max / (1 decay_rate * episode)常见陷阱Q值初始化为0会导致悲观初始偏差 → 尝试随机初始化状态编码不当影响收敛 → 对连续状态做离散化忘记ε衰减 → 使用cosine衰减调度器一个鲁棒的实现应该包含class RobustTDLearner: def __init__(self, ...): # 参数自动调整 self.alpha 0.5 self.alpha_decay 0.999 self.epsilon 1.0 self.epsilon_min 0.01 def decay_parameters(self): self.alpha max(0.01, self.alpha * self.alpha_decay) self.epsilon max(self.epsilon_min, self.epsilon * 0.995)在真实项目中我发现结合优先扫描Prioritized Sweeping的Q-Learning能将训练效率提升2-3倍这需要维护一个优先队列来存储最需要更新的状态-动作对。