verl RL-Insight：如何实时监控大规模强化学习训练状态与高效调试

【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址https://gitcode.com/gh_mirrors/verl2/verl点击查看免费下载verl RL-Insight是 verl 官方推出的强化学习训练实时监控工具它把训练器标量指标、vLLM/SGLang 推理引擎指标、TransferQueue 指标、RL 状态时间线和硬件指标统一汇聚到 Grafana 面板帮助你在多机大规模 RL 训练中实现一眼看全局、快速定位问题是高效调试大规模强化学习作业的关键利器。为什么大规模 RL 训练需要实时监控强化学习后训练与纯监督学习不同一个训练作业同时包含模型训练actor/critic、推理采样rollout、奖励计算、**数据传输TransferQueue**等多个子系统分布在一堆 GPU/NPU 上。当奖励不涨、吞吐下降或训练崩溃时只看终端日志远远不够。RL-Insight 让你在一个监控视图里回答这些问题关注点回答的问题对应指标训练状态奖励、loss、吞吐是否正常收敛reward、loss、throughput 等 trainer 标量指标推理采样rollout 是否成为瓶颈KV cache 命中率如何vLLM / SGLang 引擎指标跨副本聚合数据传输TransferQueue 是否积压、吞吐多少TransferQueue 指标执行时序生成、训练各阶段耗时分布如何RL state timelinerollout 状态时间线硬件资源CPU、内存、网络、Ascend NPU 是否打满硬件 exporter 指标 官方在 docs/advance/rl_insight.md 中提供了完整的 RL-Insight 使用文档本文是对该流程的提炼与补充。架构速览4 个组件组成监控链路图verl 强化学习 Agent 场景示例——rollout 阶段 Agent 实际生成的 Web 页面其质量由奖励模型打分而 RL-Insight 面板上正能看到这类生成过程对应的奖励与引擎指标RL-Insight 服务端由几个开源监控组件拼装而成默认端口分工如下组件默认端口职责RL-Insight server18080接收指标上报、注册 Prometheus 抓取端点与 tracePrometheus9090时序指标的存储与查询Tempo3200存储 rollout 状态 traceGrafana3000可视化面板默认账号admin/adminverl 侧的接入逻辑实现在 verl/utils/tracking.py 的RLInsightLogger中当trainer.logger里出现rl_insight时训练入口 verl/trainer/main_ppo.py 会自动设置环境变量VERL_RL_INSIGHT_ENABLE1并初始化 RL-Insight 客户端无需修改任何训练代码。快速上手三步开启强化学习训练实时监控第一步安装并启动 RL-Insight 服务在部署监控服务的机器上安装优先源码安装最新版pip install rl-insight0.2.0然后一键安装并启动监控服务rl-insight server install # 自动下载 Prometheus / Tempo / Grafana 到 ~/.rl-insight/services rl-insight server start # 打印服务器 IP、Grafana 地址与各端点⚠️ 离线或内网集群无法访问下载源时可先在联网机器下载三个组件包放到同一目录后执行rl-insight server install --local-archive /path/to/archives完成离线安装。第二步在 verl 中启用 RL-Insight1. 设置服务端地址server-ip为server start时打印的 IP需可被训练进程访问export RL_INSIGHT_SERVER_URLhttp://server-ip:18080多机 Ray 集群请把该变量写入运行时环境文件 verl/trainer/runtime_env.yaml 的env_vars中使其传播到每个节点env_vars: RL_INSIGHT_SERVER_URL: http://server-ip:180802. 在启动命令中把rl_insight加入 logger例如python3 -m verl.trainer.main_ppo \ trainer.logger[console,rl_insight] \ trainer.project_nameverl \ trainer.experiment_nameppo_rl_insight \ ...训练器标量指标奖励、loss、吞吐等从此自动上报无需额外配置。第三步打开 Grafana 面板查看训练指标访问http://server-ip:3000使用默认账号admin/admin登录左侧导航进入Dashboards打开RL-Insight目录按运行配置选择面板vLLM rollout →verl_trainer_v1_with_vllm_engineSGLang rollout →verl_trainer_v1_with_sglang_engine训练运行期间把时间范围设为 Last 5/15 minutes即可看到实时曲线。面板内容包括训练指标、各 rollout 副本的推理引擎指标、TransferQueue 指标如启用以及 rollout 状态时间线同步/异步模式各有一套视图。进阶监控 Rollout 引擎与 TransferQueue 指标默认只上报 trainer 标量指标。要看推理引擎级的细粒度指标如每个 replica 的吞吐、KV cache、请求延迟和 TransferQueue 指标需要打开两个开关python3 -m verl.trainer.main_ppo \ trainer.logger[console,rl_insight] \ actor_rollout_ref.rollout.disable_log_statsFalse \ transfer_queue.metrics.enabledTrue \ ...actor_rollout_ref.rollout.disable_log_statsFalse允许 rollout 统计上报vLLM/SGLang 副本启动后 verl 会把这些/metrics端点注册给 RL-Insighttransfer_queue.metrics.enabledTrue当启用 TransferQueue 时暴露其指标端点。生成路径vLLM 与 SGLang rollout worker也会被自动包裹 RL-Insight 状态 trace从而形成RL 状态时间线帮助你判断 rollout 生成在整体 step 中的耗时占比。此外如果你已有 Grafana/Prometheus 环境verl 也提供不依赖 RL-Insight 的原生方案——docs/advance/grafana_prometheus.md 详细讲解了如何自动改写 Prometheus 配置、抓取 rollout 服务器指标其中给出了 Qwen235B 长尾 rollout 与异步训练资源空闲的真实案例非常适合作为性能优化的入门阅读。高效调试从指标异常到根因定位排查清单面板没数据怎么办症状检查项trainer 指标不显示trainer.logger是否包含rl_insightRL_INSIGHT_SERVER_URL是否指向运行server start的机器rollout 指标不显示是否设置actor_rollout_ref.rollout.disable_log_statsFalseTransferQueue 指标不显示是否设置transfer_queue.metrics.enabledTrueserver install下载失败改用离线方式rl-insight server install --local-archive 目录经典案例用rollout_probs_diff_mean定位训推精度问题RL 训练中最隐蔽的问题之一是训练与推理引擎的精度不一致典型表现是actor/grad_norm持续上升。verl 提供了内置的调试指标设置actor_rollout_ref.rollout.calculate_log_probsTrue后verl/utils/debug/metrics.py 中的calculate_debug_metrics会对比 rollout 与 actor 的 log prob 差异产出以下指标可在 RL-Insight 面板中直接观察趋势training/rollout_probs_diff_mean/_max/_std差异均值、最大值、标准差training/rollout_actor_probs_pearson_corr概率序列的皮尔逊相关系数判读标准参考 docs/faq/faq.rst✅ 正常rollout_probs_diff_mean低于0.005❌ 异常持续高于0.01说明推理引擎存在精度问题可尝试actor_rollout_ref.rollout.engine_kwargs.vllm.disable_cascade_attnTrue规避这正是实时监控 → 发现异常 → 定位根因闭环的典型场景先看 RL-Insight 面板发现 diff 指标抬升再打开计算对比定位到具体引擎版本或参数。需要更细粒度剖析用 verl Profiler System实时监控解决发生了什么剖析器解决为什么这么慢。verl 内置了统一的 Profiler 框架架构见 docs/perf/verl_profiler_system.md通过DistProfilerverl/utils/profiler/profile.py支持按 role、按 rank、按 step 选择性地启用多种工具工具用途nsysNsight SystemsGPU 时间线级性能剖析torchtorch.profiler 算子级剖析支持 wait/warmup/active 调度torch_memoryCUDA 显存快照排查 OOMnpuAscend NPU 剖析precision_debuggermsprobe 精度调试定位数值误差推荐的调试节奏先用 RL-Insight 面板锁定异常的时间窗与子系统rollout训练硬件→ 再用 Profiler 对目标 step 和 rank 做深度剖析 → 必要时用rollout_probs_diff系列指标验证精度。三层配合基本覆盖大规模 RL 训练的全部调试路径。小结一个入口trainer.logger[console,rl_insight] 环境变量RL_INSIGHT_SERVER_URL零代码改动接入监控五个维度训练指标、推理引擎指标、TransferQueue 指标、RL 状态时间线、硬件指标统一进 Grafana️调试闭环面板发现异常 → 内置 diff 指标验证精度 → Profiler 深度剖析从看到问题到定位根因一气呵成。核心文档索引RL-Insight 完整指南docs/advance/rl_insight.mdGrafana Prometheus 原生方案docs/advance/grafana_prometheus.mdProfiler 体系说明docs/perf/verl_profiler_system.md训推精度问题 FAQdocs/faq/faq.rst监控后端实现verl/utils/tracking.py、调试指标实现verl/utils/debug/metrics.py赞分享【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址https://gitcode.com/gh_mirrors/verl2/verl点击查看免费下载相关推荐minimind-v训练监控与调优如何实时跟踪模型训练状态minimind v训练监控与调优如何实时跟踪模型训练状态 MiniMind V 是一个革命性的视觉语言模型仅需1小时就能从零开始训练2600万参数人工智能大模型多模态计算机视觉NLP预训练微调ExplorerPatcher保姆级安装教程一键让Windows 11找回Windows 10经典界面ExplorerPatcher保姆级安装教程一键让Windows 11找回Windows 10经典界面 升级到 Windows 11 之后你是不是也遇到过这桌面应用逆向工程如何快速上手 OpenVoice 语音克隆从零到跑通的完整实战教程如何快速上手 OpenVoice 语音克隆从零到跑通的完整实战教程 一、它是什么为什么要读这篇 OpenVoice 是一个开源的即时语音克隆工具给一人工智能语音音频深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考