config.toml 完全解读：mesh-llm 高级配置的 20 个关键参数清单
config.toml 完全解读mesh-llm 高级配置的 20 个关键参数清单【免费下载链接】mesh-llmDistributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.项目地址: https://gitcode.com/gh_mirrors/me/mesh-llm如果你刚接触 mesh-llm可能会对config.toml这个配置文件感到陌生。它位于~/.mesh-llm/config.toml是控制分布式 AI 推理节点、模型加载、KV 缓存、吞吐与推测解码的核心枢纽。本文将用最直白的方式为你解读 mesh-llm 高级配置中最重要的 20 个关键参数帮你从能跑进阶到会调优。mesh-llm 支持通过MESH_LLM_CONFIG环境变量指定自定义配置文件路径未指定时默认读取~/.mesh-llm/config.toml。配置逻辑集中在 mesh-llm-config 这个 crate 中完整的参数矩阵可以参考 CONFIGURATION.md。先搞懂配置优先级 在逐条解读之前先记住 mesh-llm 的取值规则否则你会被为什么改了没生效折磨请求参数最高单模型配置[[models]]条目全局默认值[defaults.*]模型家族 / 拓扑策略内置运行时默认值最低也就是说请求里的值 单个模型的设置 全局 defaults 运行时默认。理解了这条链路后面的参数就好办了。mesh-llm 高级配置 20 个关键参数清单 下面按功能分区逐一拆解这 20 个关键参数。一、全局与节点身份1-4#参数作用示例1version配置文件版本号当前为 1version 12[gpu] assignmentGPU 分配策略auto自动挑选pinned强制指定assignment auto3[owner_control] bind / advertise_addr节点 QUIC 监听地址与对外广播地址bind 0.0.0.0:74474[telemetry] enabled / endpoint遥测开关与 OTLP 采集端点endpoint http://localhost:4317其中owner_control决定你的节点如何被其他节点发现和连接是多节点组网的关键telemetry则负责把推理指标送到监控系统遥测设计 里有更详细的说明。二、模型拟合与 KV 缓存5-9⭐ 最值得调#参数作用示例5[defaults.model_fit] ctx_size上下文窗口大小token直接影响显存ctx_size 81926cache_type_k / cache_type_vKV 缓存 K/V 精度auto、f16、q8_0等cache_type_v q8_07kv_cache_policy缓存宏预设quality/balanced/saverkv_cache_policy balanced8kv_offloadKV 缓存是否卸载配合显存紧张场景kv_offload auto9prompt_cache是否复用相同前缀提示词的 KV 结果prompt_cache truekv_cache_policy是个一键预设quality偏向 f16/f16 无上限的高质量缓存saver则主动压低缓存精度并开启卸载适合显存紧张的机器。显存规划可以参考 VRAM 配置文档。另外prefix_cache子表enabled、max_entries、min_tokens专门控制精确前缀缓存对多轮对话场景提速明显。三、硬件与模型加载10-14#参数作用示例10[defaults.hardware] model_runtime推理后端cpu/cuda/rocm/metal/vulkanmodel_runtime cuda11device设备编号多卡时可指定cuda:0device cuda:012gpu_layers卸载到 GPU 的层数-1表示全部gpu_layers 9913fit_target_mib/safety_margin_gb显存目标预算与安全余量fit_target_mib 2252814split_mode/tensor_split多 GPU 拆分模式与张量比例tensor_split [0.6, 0.4]后端选择直接决定你能跑什么模型、跑多快fit_target_mib则是留给模型多少显存的预算值配合safety_margin_gb可以让规划器自动帮你算出可加载的上下文大小。四、吞吐与调度15-16#参数作用示例15[defaults.throughput] parallel并发推理槽位数越大约吃内存parallel 416continuous_batching/tuning_profile连续批处理开关与吞吐预设tuning_profile throughputtuning_profile是吞吐方向的宏throughput倾向更大 batch 和更高并行saver则相反省内存。它和kv_cache_policy一样属于改一个值影响一大片的高级配置。五、分级服务与推测解码17-18⚡#参数作用示例17[defaults.skippy] activation_wire_dtype分级服务激活帧的传输精度activation_wire_dtype f1618[defaults.speculative] strategy推测解码策略auto/disabled/mtpstrategy auto推测解码speculative decoding是 mesh-llm 提速的核心功能之一strategy mtp可启用原生 MTP 多 token 预测相关实现见 resolver/speculative.rs。分级服务相关机制可参考 GLM 原生 MTP 架构。六、请求默认值与多模型19-20#参数作用示例19[defaults.request_defaults] temperature / top_p / max_tokens采样与输出长度默认值temperature 0.820[[models]]profile每模型独立配置支持多实例model Qwen/Qwen3-8B:Q4_K_M请求默认值只在 OpenAI 前端边界合并请求里显式传的值永远优先而[[models]]块可以让你在同一台机器上以不同 profile 跑多个独立实例如长上下文和高并发两个版本非常灵活。实战一份够用的 config.toml 示例 ✍️version 1 [gpu] assignment auto [defaults.model_fit] ctx_size 8192 kv_cache_policy balanced [defaults.hardware] model_runtime cuda gpu_layers 99 [defaults.throughput] parallel 4 tuning_profile balanced [[models]] model Qwen/Qwen3-8B:Q4_K_M [models.model_fit] ctx_size 16384 kv_cache_policy quality [models.throughput] parallel 4上面这份配置把全局兜底和单模型特化分得很清楚全局用均衡策略而 Qwen 模型单独拉高上下文并启用高质量缓存。更完整的带注释示例在 docs/USAGE.md 的 config 章节命令行操作可参考 config.rs。总结 config.toml是 mesh-llm 的总控台掌握这 20 个关键参数你就从普通用户升级成了能自己调优的进阶玩家。记住三个要点优先级请求 单模型 defaults 运行时善用宏kv_cache_policy和tuning_profile两个预设能一键平衡显存与速度按模型特化全局 default 兜底[[models]]单独调优先用默认配置跑通再按本文清单逐个调整你会发现 mesh-llm 的分布式推理性能还有很大潜力可以挖掘。【免费下载链接】mesh-llmDistributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.项目地址: https://gitcode.com/gh_mirrors/me/mesh-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
