1. 项目缘起当量子多体问题遇上AI调参的“黑箱”在计算物理和量子化学领域求解多体量子系统的基态波函数一直是个核心且极具挑战性的问题。传统的数值方法如精确对角化受限于希尔伯特空间维度随粒子数指数爆炸的增长只能处理小规模系统。变分蒙特卡洛VMC方法通过引入参数化的试探波函数将问题转化为对参数的优化为我们打开了一扇窗。近年来神经网络量子态NNS作为一类强大的试探波函数因其卓越的表达能力在解决一维、二维自旋系统乃至连续空间费米子问题上取得了突破性进展。然而NNS的成功严重依赖于其超参数Hyperparameters的设置。这里的超参数范围很广神经网络的结构层数、宽度、激活函数、优化器的选择如Adam的学习率、动量项、训练过程中的采样策略马尔可夫链数量、采样步数甚至损失函数中各项的权重配比。这些参数共同构成了一个高维、非凸、且评估代价极其昂贵的优化空间。一次完整的NNS-VMC计算从初始化波函数、进行马尔可夫链蒙特卡洛采样、计算能量及梯度到完成一步参数更新其耗时可能从几分钟到数小时不等。评估一组超参数配置的性能往往需要运行完整的训练流程直至收敛或达到预设步数。这就引出了当前NNS研究中的一个普遍痛点超参数调优严重依赖研究者的“炼丹”经验。大家通常的做法是基于文献或直觉选定一组“看起来合理”的参数跑上几天甚至几周观察能量是否收敛到一个较低的值。如果不理想再凭感觉调整几个参数重新开始。这个过程不仅效率低下、可重复性差更糟糕的是我们无法确定找到的解是局部最优还是接近全局最优也无法系统性地理解不同超参数间的耦合关系。本质上我们是在一个黑箱里摸索浪费了大量的计算资源与时间。“NQS-Agent”这个项目的提出正是为了打破这个黑箱。它不是一个全新的NNS架构而是一个构建在现有NNS-VMC框架之上的、智能化的超参数优化“代理”。其核心思想是引入“智能体”Agent的概念将超参数优化过程建模为一个序列决策问题智能体观察当前训练状态即“健康度”然后选择一组超参数动作应用于NNS进行下一步训练并根据训练反馈如能量下降速度、方差稳定性获得奖励从而学习如何动态地、自适应地调整超参数以更高效、更稳健地找到最优或近似最优的量子态。2. 核心架构拆解健康感知与智能体决策环路NQS-Agent的设计哲学是闭环优化与状态感知。它不是一个简单的网格搜索或随机搜索的自动化脚本而是一个具有反馈机制的动态系统。我们可以将其核心工作流程分解为以下几个相互关联的模块。2.1 状态空间定义何为“健康度”智能体要做出决策首先需要感知环境状态。在NQS-Agent中环境状态就是NNS训练过程的实时“健康度”指标。这些指标需要全面、低维且能有效反映优化进程。通常包括能量与方差趋势最近N个训练步骤中能量期望值E的移动平均值及其变化率一阶差分。能量持续下降表明优化有效平台期或上升则可能陷入局部极小或学习率不当。同时能量方差σ²_E的大小及趋势也至关重要方差过大可能表明采样不充分或波函数不稳定。梯度统计信息参数梯度的范数如L2范数及其分布。梯度消失范数接近零会导致训练停滞梯度爆炸则可能导致数值不稳定。梯度的统计特性如均值、标准差可以反映优化曲面的性质。采样质量指标马尔可夫链的混合时间、自相关时间以及有效样本量。采样效率低下会直接导致能量估计偏差大、方差高是影响VMC精度的关键因素。波函数本身的性质例如在迭代过程中计算的局部可观测量的变化或者波函数参数本身的统计量如果适用。这些原始指标经过归一化和可能的特征工程如计算滑动窗口统计量、构造比值指标等形成一个固定维度的状态向量s_t在时刻t输入给智能体。定义一个好的状态空间是让智能体学会“诊断”训练问题的前提。2.2 动作空间设计智能体能做什么智能体的动作a_t对应于对NNS训练超参数的一组调整。动作空间的设计需要平衡灵活性与可操作性。一种实用的设计是采用相对调整而非绝对设定。例如学习率调整lr_new lr_current * (1 δ)其中δ是智能体输出的一个连续值如[-0.5, 0.5]代表调整的比例。采样参数调整增加或减少马尔可夫链的数量(±ΔN_chains)或调整MCMC步长(log_scale_factor)。网络结构微调进阶在训练中期动态增加某层的神经元数量需要处理参数初始化与旧参数映射或轻微调整激活函数的参数如PReLU的斜率。优化器参数调整Adam优化器的β1, β2或权重衰减系数。动作空间可以是离散的从一组预设调整方案中选择也可以是连续的。连续动作空间表达能力更强但需要智能体具备更强的策略函数。通常我们会将动作范围限制在合理的区间内防止单次调整过大导致训练崩溃。2.3 奖励函数塑造引导智能体向“好”的方向学习奖励函数r_t R(s_t, a_t, s_{t1})是智能体的“指挥棒”它量化了执行动作a_t后从状态s_t转移到s_{t1}的好坏。设计奖励函数是强化学习应用中最具艺术性的环节之一。对于NNS优化奖励可能包括主奖励能量降低ΔE E_{t} - E_{t1}。这是最直接的奖励信号。可以对其进行裁剪防止单步奖励过大和缩放。稳定性奖励惩罚能量方差的增大或奖励方差的减小。这鼓励智能体寻找不仅能量低而且估计稳健的波函数。效率奖励惩罚训练步数的消耗鼓励智能体用更少的步骤达到目标。例如每一步给予一个小的负奖励时间成本促使智能体快速收敛。探索奖励可选为了鼓励智能体尝试不同的超参数区域防止过早收敛到次优策略可以引入内在好奇心模块对访问频率低的状态转换给予额外奖励。一个综合的奖励函数可能是r_t α * (-ΔE) β * (-Δσ²_E) γ * (-1)其中α, β, γ是权重系数-ΔE表示能量下降负值带来正奖励-1是每一步的时间惩罚。通过调整这些权重我们可以让智能体在“快速下降”、“稳定收敛”和“节省步数”之间取得平衡。2.4 智能体算法选型策略梯度与近端策略优化有了状态、动作和奖励我们需要一个学习算法来训练智能体。由于超参数调整动作可能是连续的并且我们希望智能体能学习一个随机策略以一定概率探索策略梯度Policy Gradient类方法是自然的选择。其中近端策略优化PPO因其良好的样本效率、稳定性和易于调参的特性成为此类任务的热门选择。PPO的核心思想是限制新旧策略之间的差异避免因单次更新过大而导致策略性能崩溃。在NQS-Agent中智能体策略网络π_θ(a|s)根据当前训练状态s_t输出动作a_t的概率分布对于连续动作通常是高斯分布的均值和方差。动作被执行后环境即NNS训练一步转移到新状态s_{t1}并返回奖励r_t。这些经验(s_t, a_t, r_t, s_{t1})被存入经验回放缓冲区。训练时PPO通过计算优势函数A_t衡量动作a_t相对于平均水平的优劣来更新策略参数θ。其损失函数包含策略损失和值函数损失两部分并通过裁剪概率比来约束更新幅度。值函数网络V_φ(s)用于估计状态的价值帮助降低奖励的方差。注意训练智能体本身也是一个优化过程需要大量的“环境交互”数据。在NQS-Agent的语境下每一次交互都意味着用一组超参数运行NNS训练若干步这计算成本极高。因此通常我们会先在较小的系统或较短的训练步数上训练智能体或者利用历史“炼丹”数据做预训练再迁移到更大问题上。3. 工程实现关键与现有NNS-VMC框架的耦合将强化学习智能体嵌入到传统的NNS-VMC训练循环中需要精心的工程设计。这不仅仅是两个循环的简单嵌套。3.1 交互接口设计我们需要在原有的VMC训练循环中插入钩子hooks。一个典型的工作流程如下初始化初始化NNS参数ψ(θ)初始化智能体策略网络π_θ和价值网络V_φ。设定初始超参数h_0。外层循环智能体决策周期并非每一步NNS更新都触发智能体决策那样开销太大。通常设定一个决策间隔K例如每进行100步NNS参数更新后。状态提取在决策点t从最近的K步训练历史中计算健康度指标构建状态向量s_t。动作生成与执行智能体根据s_t生成动作a_t即超参数调整量。将调整量应用到当前超参数集h_{t1} ApplyAction(h_t, a_t)。这里ApplyAction函数需要处理边界问题如学习率不能为负。内层循环NNS训练使用新的超参数集h_{t1}继续运行K步NNS训练包括采样、计算能量梯度、更新NNS参数θ。在此过程中持续收集训练指标。奖励计算与存储在完成这K步训练后基于初始状态s_t、新状态s_{tK}以及期间的整体表现如平均能量下降量计算奖励r_t。将经验元组(s_t, a_t, r_t, s_{tK})存入经验池。智能体更新当经验池中的数据积累到一定量从中采样一个小批量按照PPO算法更新策略网络和价值网络的参数。循环重复步骤3-7直至NNS能量收敛或达到总步数限制。3.2 关键实现细节与挑战异步与同步为了提升效率可以考虑异步架构。让一个“协调者”管理智能体同时向多个“工作者”分发超参数配置。每个工作者独立运行一段NNS训练并将结果返回给协调者用于更新智能体。这能大幅减少整体时间但增加了系统复杂度。状态归一化不同健康度指标的量纲和范围差异巨大能量可能1e-1梯度范数可能1e-5。必须进行有效的归一化如减去均值除以标准差否则智能体难以学习。这个归一化统计量需要在训练过程中在线更新。奖励塑形的敏感性奖励函数中各项的权重(α, β, γ)对智能体行为影响巨大。可能需要多次实验来调整。一个实用的技巧是设置一个基线任务如固定超参数训练确保智能体学到的策略至少不比基线差。灾难性遗忘与稳定性在漫长的训练中智能体可能会“忘记”之前学到的好的策略。使用经验回放、定期保存策略检查点、以及设置策略更新约束如PPO的clip范围有助于保持稳定性。计算开销权衡智能体本身的推理和训练开销相对于NNS训练来说通常很小。主要开销来自更频繁的评估因为智能体需要反馈。决策间隔K的选择是关键K太小智能体决策频繁总训练步数可能增加K太大智能体无法及时响应训练状态变化。通常K需要与系统的相关时间尺度如能量收敛所需的典型步数相匹配。4. 实战评估以二维J1-J2海森堡模型为例理论再好也需要实践检验。我们以一个典型的强关联量子系统——二维方形晶格上的J1-J2海森堡模型为例展示NQS-Agent的潜在威力。该模型的哈密顿量包含最近邻J1和次近邻J2反铁磁相互作用在J2/J1 ≈ 0.5附近存在激烈的竞争可能产生量子自旋液体相对试探波函数的质量极为敏感。4.1 基线设置我们选择一个中等规模的6x6晶格36个自旋1/2希尔伯特空间维度高达2^36远超精确对角化能力。我们采用一个标准的全连接前馈神经网络作为NNS隐藏层为[64, 64]使用tanh激活函数。优化器选用Adam。基线方法人工调参我们根据常见文献设置一组“经验”超参数学习率lr0.001马尔可夫链数N_chains512采样步数N_samples1000。进行长达20000步的VMC训练。NQS-Agent方法我们初始化智能体并赋予其调整学习率lr乘数因子范围[0.5, 2.0]和马尔可夫链数量调整量±128的能力。决策间隔K200。奖励函数侧重于能量下降r 10 * (E_{t} - E_{tK})同时对学习率过大的动作施加轻微惩罚。智能体每收集2048步经验约10个决策周期更新一次。4.2 预期结果与分析通过对比实验我们期望观察到以下现象收敛速度NQS-Agent控制的训练在初期可能会尝试不同的学习率一旦找到合适的下降方向其能量下降曲线应比固定参数的基线更陡峭更快进入平台期。最终精度由于智能体能在后期调小学习率进行精细优化并可能根据方差情况动态增加采样资源它找到的最终能量期望值有望低于或等于基线方法。超参数轨迹我们可以绘制出智能体调整的学习率和链数随时间变化的曲线。这条曲线揭示了智能体的“策略”例如在训练初期快速提升学习率以加速下降中期保持稳定后期降低学习率并增加采样以稳定结果和降低方差。这本身就是一份宝贵的“自动化调参日志”提供了对优化过程的洞察。鲁棒性我们可以在不同的随机种子下重复实验。理想情况下NQS-Agent策略的方差最终能量的分布应小于人工固定参数的方差因为它能自适应地应对不同的初始化状态。实操心得在实现此类对比实验时最大的陷阱是“不公平比较”。必须确保除了超参数调整策略外所有其他条件完全一致包括NNS架构初始化、随机数种子对于环境随机性可能需要对智能体的动作引入随机性但种子需可控、总计算预算如总采样次数或总训练时间。一个更公平的比较可能是给人工调参专家和NQS-Agent相同的总计算时间看谁能找到更低的能量。4.3 可能遇到的挑战与调试在实际编码运行中你可能会遇到智能体不学习奖励始终为零或非常小。检查奖励计算逻辑确保ΔE的符号正确下降应为正奖励。检查状态归一化是否合理原始状态值是否在合理范围内。可以先用一个简单的、已知有明确最优策略的玩具环境测试智能体。训练崩溃智能体输出一个极端动作如将学习率调到极大导致NNS训练立即发散能量变成NaN。需要在ApplyAction函数中加入更严格的边界检查和裁剪。也可以在奖励函数中加入对“危险”动作的强烈惩罚。样本效率低下NNS训练一步成本很高导致收集足够经验训练智能体非常慢。可以考虑离线预训练利用历史人工调参数据状态-动作-下一状态-奖励对智能体进行监督预训练或离线强化学习初始化。课程学习先在更小的系统如4x4晶格上训练智能体然后将训练好的策略网络迁移到6x6系统进行微调。共享特征提取器让策略网络和值函数网络底层共享一个从状态s_t提取特征的网络减少参数量加快学习。5. 超越调参NQS-Agent的扩展想象与应用边界NQS-Agent的范式并不局限于超参数优化。其核心——“基于训练状态感知的序列决策”——可以推广到更广泛的NNS训练自动化场景中。5.1 自动化网络结构搜索的雏形当前动作空间主要调整优化超参数。一个自然的扩展是让动作空间包含对网络架构的微调例如在训练过程中动态增加某一层的神经元数量或者插入一个跳跃连接。智能体可以根据训练状态如梯度分布、表示瓶颈来决定是否以及如何改变网络结构。这相当于将神经架构搜索NAS的一部分动态化、自动化虽然搜索空间巨大但在计算资源允许的情况下可能发现更适应特定物理问题的网络结构。5.2 自适应损失函数配比在NNS-VMC中损失函数通常是能量期望值H。但为了获得更好的性质我们经常会加入正则化项如熵正则化、权重衰减或者对于激发态计算需要加入正交化约束。这些正则化项的权重λ_i通常也是手动设置的。NQS-Agent可以学习动态调整这些λ_i在训练的不同阶段侧重不同的优化目标例如前期侧重快速降低能量后期侧重提高波函数的稳定性或满足特定约束。5.3 多任务与迁移学习中的策略复用假设我们已经用NQS-Agent为J1-J2模型J2/J10.4训练出了一个好的策略。当我们需要研究邻近参数点J2/J10.45的模型时这个策略是一个极佳的初始化起点。因为两个问题的物理性质相似最优的超参数调整策略也可能相似。智能体可以快速适应新任务节省大量从头开始搜索的成本。这为系统性的相图扫描提供了高效的自动化工具。5.4 对传统优化理论的启发NQS-Agent学习到的策略本质上是一个高度非线性的、基于状态的超参数更新规则。通过分析训练好的智能体在特定状态下的典型动作我们有可能反推出一些启发式的优化准则这些准则可能超越了现有优化器如Adam的固定更新公式。例如智能体可能学会了“当梯度范数小而能量方差大时应优先增加采样量而非改变学习率”。这样的经验可以提炼成新的优化算法设计原则。将强化学习智能体引入NNS优化其价值远不止是节省研究者的调参时间。它代表了一种范式转变从依赖静态经验和试错的“手工优化”转向数据驱动、闭环反馈的“自适应优化”。这个过程产生的数据状态-动作序列和学到的策略本身就成为我们理解“如何高效训练一个复杂量子变分模型”的新知识。尽管在工程实现和训练效率上仍面临挑战但NQS-Agent所指向的自动化、智能化计算物理研究辅助工具的方向无疑是充满潜力的。它让研究者能将更多精力投入到物理问题的建模、分析和解释上而将繁琐的、模式化的参数寻优过程交给善于在复杂空间中学习的智能体。