【免费下载链接】AnyJevTurn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)项目地址https://gitcode.com/gh_mirrors/an/AnyJev点击查看免费下载Tacit 是 AnyJev 的自蒸馏模型系列让 LLM 用「一次前向」直接回答决策问题——不生成文本、不解析、不训练从模型下一 token 的分布里读出每个选项的真实概率。本文带你看懂它的工作原理并汇总 Tacit-1.7B 到 Tacit-9B 共 5 个尺寸在 JevBench 和 bev-decision 上的完整评测数据一次前向准确率 0.5980.823开启自适应推理adaptive后最高冲到 0.887。1. 什么是「Jev 风格决策模型」30 秒入门传统用法是把选项塞进 prompt让模型输出一段文字再正则解析出答案——慢、贵还会解析失败。AnyJev 的思路是把问题类型化typed question选择题choice、判断题yes_no、评分题score。模型只跑一次前向答案读自「下一个 token 恰好是某个选项标签」的 log 概率重归一化后就是一份带概率的决策。不生成任何 token也就没有解析失败一说。完整流程分四步图里一眼看完步骤做什么① Ask给一段状态state 一个类型化问题② Shift选项的每一种轮换顺序都问一遍抵消位置偏差③ Correct除以无标签估计出来的「标签先验」④ Decide输出一个自带概率分布的决策两条路线可以选免训练DeciderL0 档任何开源因果 LLM 即插即用零训练、零标签自蒸馏Tacit本文主角。用自蒸馏训练出来的检查点模型学会「一次前向就给出推理才能得到的答案」。每个决策都会带上自己的routeone_forward或cot下游代码可以据此校验约定见 docs/levels.md。2. 为什么要一次前向先看「原始 logits」的坑直接把选项写进 prompt、softmax 限制在标签上raw 档有个著名毛病答案会随选项顺序变。下图是 Qwen3-8B 在一条真实 BANKING77 样本上的现场演示——左边直接读 logits右边 L0 把顺序轮换后校正两种顺序下 L0 给出的答案一致。L0 靠 K 次轮换把位置偏差平均掉、再除掉标签先验——不需要任何标注但代价是K 次前向。Tacit 的自蒸馏就是为省掉这 K 次训练时让模型模仿「自己推理CoT后的答案」于是一次前向就能给出接近 L0 的质量还不受选项顺序影响。这是「训练」与「免训练」之外的第三条路不碰人类标注、不借别的模型只用自己的推理结果蒸自己。3. Tacit 最快上手3 种方式跑起来方式一transformers 进程内加载最简单pip install anyjev[hf]from anyjev import Tacit tacit Tacit.from_pretrained(morriszjm/Tacit-9B) d tacit.decide(stateCustomer: my package was due last Monday and it still has not arrived., questionWhat does the customer want?, options[track_order, cancel_order, refund, change_address]) d[answer], d[probs], d[route] # track_order, {选项: 概率}, one_forward返回的probs是每个选项的概率margin是 top-2 的 log 概率差——这个 margin 后面会决定要不要升级推理。方式二标准vllm serve生产推荐pip install anyjev[client] vllm serve morriszjm/Tacit-9B --host 127.0.0.1 --port 8000tacit Tacit.from_pretrained(morriszjm/Tacit-9B, engineserver, base_urlhttp://127.0.0.1:8000, adaptiveTrue)服务端保持原版 vLLM 不动客户端只加载 tokenizer。enginevllm则把 vLLM 跑在同一进程里。方式三HTTP 网关多客户端共享一个上限python -m anyjev.serve --model morriszjm/Tacit-9B --upstream http://127.0.0.1:8000 --adaptive --port 8100POST /v1/decide提交决策GET /v1/stats查看升级比例。网关实现见 anyjev/serve.py。4. 自适应升级把最难的决策才交给推理还带上限adaptiveTrue开启后Tacit 会做一件事margin 小于tau默认 0.5的决策打开 thinking 重新推理一次。推理结束后照旧读标签概率分布所以升级后的答案同样带概率、同样不会解析失败。关键在上限最近cot_window默认 1000个决策里最多只有max_cot_share默认 20%会升级。流量再难成本也有界——这是能长期在线服务的保险丝。参数默认值含义adaptiveFalse低置信度决策交给模型自身推理tau0.5top-2 log 概率差低于它即判「低置信」max_cot_share0.2滑动窗口内升级比例上限cot_window1000上限统计的窗口大小cot_max_tokens8192单次推理的 token 预算每次升级都会如实记录route cot、保留第一遍结果在first_pass、tacit.stats给出计数。核心逻辑就在 anyjev/tacit.py 里一个文件读完。5. 完整评测1.7B 到 9B五尺寸全量数据评测用 scripts/eval_tacit.py 跑在标准vllm servevLLM 0.17.1上题目按数据集原始顺序逐题决策原始 JSON 全部落在 bench/results_tacit/2026-10-06/可复核。两个测试集JevBench公开集231 题混合 choice / yes_no / scorebev-decision测试集46,320 题真实决策规模。模型底座JevBench 一次前向自适应bev-decision 一次前向自适应Tacit-1.7BQwen3-1.7B0.619—0.598—Tacit-2BQwen3.5-2B0.671—0.626—Tacit-4BQwen3-4B0.7230.758升级 14.3%0.6630.704升级 17.8%Tacit-8BQwen3-8B0.736—0.663—Tacit-9BQwen3.5-9B0.8230.887升级 15.2%0.7270.755升级 18.1%几个值得划重点的数字升级是精准的外科手术。Tacit-9B 在 JevBench 上只把 35 题15.2%送进推理这 35 题从做对 18 道提升到做对33道净增 15 道bev-decision 上升级 8,366 题做对数从 3,771 提升到5,086净增 1,315 道。代价有界Tacit-9B 升级题平均每题多生成 458bev567JevBench个 tokenTacit-4B 只需 187305 个。⚡快Tacit-1.7B 单张 H100 NVL 跑完 46,320 题只用了61.9 秒Tacit-9B 在 4 副本上 231 题 JevBench 用时 93.1 秒。尺寸收益明显一次前向准确率从 1.7B 的 0.619 一路升到 9B 的 0.823JevBench 上 9B 甚至超过了更大的常规推理方式。 小模型1.7B/2B/8B的自适应结果仍在路上见 ROADMAP.md。6. 从数据到源码每个数字都能查到出处想查什么去哪里五个模型的完整评测 JSON含硬件、耗时、命令bench/results_tacit/2026-10-06/评测脚本与题目映射逻辑scripts/eval_tacit.pyTacit 决策 API、升级上限实现anyjev/tacit.pyone_forward/cot路由与 level 约定docs/levels.mdL0 的旋转预算K 次前向降到约 7 次docs/rotation_budget.md免训练 Decider 后端HF/vLLM/SGLang/llama.cppanyjev/backends/7. 总结什么时候该选哪条路不想训练、手头有任意开源 LLM→ 免训练DeciderL0 档零标签代价 K 次前向要高吞吐、低延迟的在线决策服务→Tacit一次前向拿概率adaptiveTrue给最难的那 15%20% 上推理保险成本全程有界显存有限→ 从 Tacit-1.7B 起步也有 0.619 的 JevBench 准确率单卡轻松跑。一句话记住 Tacit答案来自推理延迟来自一次前向。赞分享【免费下载链接】AnyJevTurn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)项目地址https://gitcode.com/gh_mirrors/an/AnyJev点击查看免费下载相关推荐Amazon Bedrock 引用感知问答模型蒸馏实战从 Nova Premier 蒸馏到 Nova Lite 的四阶段流水线Amazon Bedrock 引用感知问答模型蒸馏实战从 Nova Premier 蒸馏到 Nova Lite 的四阶段流水线 导读 本文以 01_citat示例工程DeepSeek-R1蒸馏模型对比1.5B到70B全系评测DeepSeek R1蒸馏模型对比1.5B到70B全系评测 引言推理能力的新范式革命 在人工智能快速发展的今天大型语言模型LLM的推理能力已成为衡量其基础模型大模型人工智能DeepSeek模型蒸馏PaddleSeg PaddleSlim实战教程从教师模型训练到学生模型蒸馏全流程模型蒸馏PaddleSeg PaddleSlim实战教程从教师模型训练到学生模型蒸馏全流程 模型蒸馏是 PaddleSeg 中基于 PaddleSli人工智能计算机视觉预训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考