【免费下载链接】BigMoeOnEdgeRun MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimizer. Any hardware, any OS, any model, any quantization, behind a local OpenAI-compatible server.项目地址https://gitcode.com/gh_mirrors/big/BigMoeOnEdge点击查看免费下载BigMoeOnEdge 是一个基于 llama.cpp 公共 API 的本地 MoE 模型流式推理引擎专门让比内存还大的 MoE 模型跑在笔记本、手机等边缘设备上。它的--auto自动规划器会一次性量测你的内存、存储读取速度、每个 CPU/GPU/NPU 以及模型文件头然后自动生成一份性能最优的推理方案——缓存开多大、哪些权重常驻、提示词和生成各用哪块设备全部替你决定从此不用手动调参。为什么 MoE 模型需要规划而不是猜参数MoEMixture-of-Experts混合专家模型生成每个 token 时只激活少量专家权重。BigMoeOnEdge 的做法是把每个 token 都需要的稠密权重和最近用过的专家放进内存其余专家在路由需要时从闪存SSD/NVMe流式读入。输出与整模型全量载入完全一致——测试会逐字节校验这一点。问题在于要跑得快你得回答一堆高度依赖具体机器的问题——专家缓存--cache-mb给多大给大了挤占其他内存给小了缓存命中率归零读取闪存用几条并发通道--io-threads解码线程数设多少、要不要开启 I/O 重叠--overlap提示词prefill和生成decode分别交给哪块设备这些旋钮的正确答案取决于你的机器而不是个人经验。--auto的设计哲学就是能测的就测测不到的就明说绝不瞎猜。量测流程全解--auto 在背后做了哪几件事--auto的完整流程是 hardware-planning.md 里详细记录的核心是四个探针加一个纯规划器模型探针只读 gguf 文件头不加载任何张量数据读出专家数量、每层专家块大小、token 循环一个 token 至少需要的专家字节数这是缓存的下限。机器探针可用内存、CPU 核心分类、溢出行为压缩/交换/杀进程、主内存带宽以及枚举本构建能看见的每个加速设备。存储探针直接读模型专家所在的那个文件分片模型里未必是你指定的那个按模型自己的专家切片大小、1/2/4 条通道测出读取速率曲线约一秒完成据此决定 I/O 通道数等参数。带宽与设备探针用模型自己的量化格式跑一次 GEMV对比主机与每块设备每个设备还在独立子进程里探测——即使某块 GPU 的驱动会直接让进程崩溃也不会影响主程序。探针产出事实事实交给纯规则fits模型装得下拒绝流式、experts-stream专家流式、dense-oversized连稠密集都放不下。之后分配器 allocate.cpp 用**每字节省几秒**这一个单位把缓存、常驻稠密组、设备分层放在同一张榜单上排序花掉内存预算。关键源码入口规划入口core/include/bmoe/auto_plan.hprobe_and_planCLI 和服务端/api/plan共用同一序列探针实现core/src/plan/hardware_probe.cpp、core/src/plan/storage_probe.cpp、core/src/plan/bandwidth_probe.cpp、core/src/plan/headroom_probe.cpp规划规则core/src/plan/planner.cpp、core/src/plan/allocate.cpp30 秒上手生成并解读你的推理方案拿到发布包里的bmoe-cli后最常用的就这几条命令bmoe-cli -m model.gguf --auto # 量测、规划、直接运行什么都不用管 bmoe-cli -m model.gguf --auto --plan-explain # 运行并打印每个决策为什么 bmoe-cli -m model.gguf --plan-only # 只打印方案后退出不加载模型 bmoe-cli -m model.gguf --auto --no-probe-io # 只做规划、完全不触碰存储 bmoe-cli -m model.gguf --auto --probe-mem # 实测这块机器能留得住多少内存--auto是显式开启的不加它就什么都不会变。生成的方案里每个决策都自带理由并标注数据来源measured / derived / policy / operator / unprobed。方案还会打印出一条能完整复现它的bmoe-cli命令行——因为只能执行、无法复现的方案不可证伪。而你手动传的任何参数都是钉子规划器绝不覆盖。三条铁律值得记住宁缺毋滥某个决策所需事实没测到就保持默认并标[unprobed]绝不编造数值设备必须赢出一个明显优势默认 10% 边际才启用平局不算赢不无损的东西绝不自动开启丢专家、专家替换等有损手段永远不会被规划器打开。所有参数名和含义可查 docs/settings.md参数表本身在 core/src/params.cpp。越用越聪明第二次加载如何变得更准--auto不是一次性的。它会为每个模型积累两份记忆bmoe-server存于数据目录的routing/下bmoe-cli用--routing-dir DIR指定位置详见 measured-planning.md路由记录第一次运行时记录前 256 个解码 token 实际请求了哪些专家。下一次--auto用引擎自己的 LRU 回放这份记录得到这个模型真实的命中率曲线再据此定价缓存大小方案上会标注[measured on this model]。无损旋钮判决线程数和重叠开关会在你的第一个真实回答里做 A/B 交替窗口实测缓存命中率稳定后才开始候选必须快 10% 以上才换。判决按硬件指纹 引擎版本存档同一台机器上第二次加载直接采用不再测量。运行结束时方案还会把预测值与实测值并排打印plan: predicted P s/token, measured M让你随时验证规划器的判断是否靠谱。实测效果同一套规则不同机器各得其所规划规则里没有任何平台名——Windows、Android、iOS 只出现在填数据的适配器里。同一套规则在手机上选固定内存、在桌面上选匿名内存靠的是事实不同而非分支不同这正是它能被 tests/planner_test.cpp 在谁也没拥有的机器上单测的原因。README.md 里的公开数据Q4 量化模型--auto自动规划后硬件内存模型解码速度Android 手机12 GBQwen3.6-35B-A3B21 GB 落盘5 tok/siPhone12 GBQwen3.6-35B-A3B3 tok/sApple 芯片笔记本16 GBQwen3.6-35B-A3B18–24 tok/sWindows 笔记本16 GBQwen3.6-35B-A3B5 tok/s独显 大内存台式机24 GB 96 GBQwen3.8-Flash-Next 125B70 tok/s模型文件本身就是每块设备的内存硬件越强规划器给出的方案越激进——这就是自适应的含义。方法细节见 docs/benchmark-method.md完整基准见 docs/benchmarks.md。常见问题速览问--auto会不会把我的输出变得差不多就行不会。规划器只碰无损失的东西有损开关丢专家、替换、减少激活专家从不自动开启必须你显式传参才会生效。问为什么同一台机器两次规划结果不一样因为可用内存本来就是会动的量——同一台机器几分钟间隔可能报出 4.3 GB 和 8.2 GB。方案会打印它当时用的数字差异可见、不神秘。问设备探测把进程搞崩了怎么办每个设备都在独立子进程里探测子进程死了设备就被标记不可用并排除出方案device Vulkan0: UNUSABLE - its probe ended the process that ran it主程序照常规划。问我想要 GPU 预取prefill但方案没开方案会逐设备打印它测到的两个宽度下的速率并说明拒绝原因没测过 / 没赢出边际 / 内存账本放不下。你可以手动指定规划器同样不碰你手动设置的值。小结一条命令--auto量测 → 规划 → 运行每个决策可解释、可复现规划基于秒/字节成本模型和内存账本宁缺毋滥、有损不自动路由记录 旋钮判决让第二次加载比第一次更准想深入原理按顺序读 docs/hardware-planning.md → docs/measured-planning.md → docs/architecture.md 即可。赞分享【免费下载链接】BigMoeOnEdgeRun MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimizer. Any hardware, any OS, any model, any quantization, behind a local OpenAI-compatible server.项目地址https://gitcode.com/gh_mirrors/big/BigMoeOnEdge点击查看免费下载相关推荐TPOT自动化机器学习告别手动调参的智能助手TPOT自动化机器学习告别手动调参的智能助手 还在为机器学习中的特征工程和模型选择而头疼吗 每天花费数小时手动调整参数却收效甚微TPOT自动化机器学习人工智能AutoML机器学习数据科学FPGA_Webserver安全考虑硬件Web服务器的网络安全与数据完整性保障FPGA_Webserver安全考虑硬件Web服务器的网络安全与数据完整性保障 FPGA_Webserver作为一款无需软件支持的静态内容硬件Web服务器其硬件开发网络嵌入式通信告别手动调参Kornia相机标定全自动化解决方案告别手动调参Kornia相机标定全自动化解决方案 你是否还在为相机标定耗费数小时手动调整参数是否曾因标定精度不足导致后续视觉任务失败本文将带你解锁Korn人工智能计算机视觉深度学习图像处理上一篇10款必备PostgreSQL开发工具链从SQL格式化到性能优化的完整指南下一篇Neorg 贡献指南从 Bug 报告、代码规范到 docgen 文档生成工作流创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考