【免费下载链接】jacobian-lensCompanion code for the global workspace interpretability paper项目地址https://gitcode.com/gh_mirrors/ja/jacobian-lens点击查看免费下载你是否好奇语言模型内部到底在想什么jacobian-lens雅可比透镜给出了一个可量化的答案它把任意层的内部激活线性传输到最终层再用模型自己的 unembedding 解码成一个词汇 token 排名表。但解码出的词不等于透镜是好的——透镜质量必须被科学度量。本文带你完整解析 jacobian-lens 官方内置的 6 大 Lens 质量评测集看它们如何用统一的 passk 指标从多跳推理、多语言、诗歌押韵、运算顺序、概念联想和拼写纠错 6 个维度严格量化透镜的好坏。上面这张切片图assets/slice_vis.png来自官方 README在 ASCII 人脸示例中选中^鼻子位置后透镜在中层就读出了从未出现在提示里的 nose。这正是透镜质量的直观体现——好的透镜能在中间层就捕捉到概念本身。什么是 jacobian-lens为什么需要质量评测jacobian-lens 的公式极其简洁lens_l(h) unembed( J_l h ), J_l E[∂h_final / ∂h_l]传输矩阵 J_l在通用网络文本语料上对第 l 层激活 → 最终层激活的输入输出雅可比取期望精确估计器见 jlens/fitting.py 模块文档。解码把传输后的向量用模型自带的 unembedding 映射回词表得到一个完整的 token 排名列表。代价很低论文透镜只用约 1000 条 128-token 序列拟合且质量在 ~100 条 prompt 时就接近饱和。正因为拟合便宜、变体多才需要一套标准化评测协议来回答这个透镜到底能不能用 官方把这 6 个评测集放在 data/evaluations/ 下每个.json只含 prompt规则统一写在 data/evaluations/README.md。统一的评分口径passk 是什么理解 6 个评测集之前先记住三个共同约定概念含义Lens readout在每个层token 位置上透镜输出一整份词表排名Workspace band工作区内容所在的连续中层区间评测只报告这个区间Hit目标 token 在区间内任一层位置上出现在 rank 16 个集子都使用同一个核心指标passk 对每条样本计算其中间概念中有多少比例满足在区间各层里的最低排名 ≤ k再对所有样本取平均。这个设计很巧妙不要求透镜在某一层完美命中而是考察概念是否在某一层清晰浮现正好对应全局工作区的理论预测。评测集一lens-eval-multihop——多跳事实推理 lens-eval-multihop.json93 条每条样本是一道两步事实题例如Fact: The ocean on the coast of the country where Carnival is most famously celebrated is the ____提示在target如 Atlantic的前一个 token 处读取而真正被打分的不是答案而是中间桥接实体intermediates如 Brazil。考察点透镜能否在模型还没说出答案之前就提前读出中间跳板概念设计思想多跳推理依赖中间表征如果透镜读不出 Brazil说明工作区内容没形成评测集二lens-eval-multilingual——多语言一致性 lens-eval-multilingual.json107 条每条样本是一条非英语的填空提示西班牙语的 grande 的反义词、中文的 香蕉 的颜色……intermediates记录的是 4 个英文概念词如[Spanish, opposite, big, small]考察点即使提示是外语透镜读出的是否是语言无关的语言 / 关系 / 概念标签为什么重要如果内部表征是语义的而非语言的多语言评测必须过关评测集三lens-eval-poetry——诗歌押韵约束 lens-eval-poetry.json98 条每条样本是一联押韵双行诗第二行写到一半The soldier held his final, rattling breath, / And closed his eyes to greet the face of ____读取位置固定在第一行末尾的换行 token打分的intermediates是那个韵脚词如 death。考察点在换行的瞬间下一行该押什么韵这个约束是否已经以概念形式存在于工作区设计巧妙之处读取点选在第一行结束处而不是答案出现处——押韵约束必须在换行前就浮现评测集四lens-eval-order-ops——运算顺序追踪 lens-eval-order-ops.json55 条每条样本是一道带运算优先级的算术题如(2 3) * 4 。intermediates包含两个概念先算的中间结果5和接下来要做哪个运算multiplication。两个特殊细节同义词集扩展数字同时接受阿拉伯数字与英文单词形式运算同时接受符号与单词形式排名取各同义词的最小值读取位置target前一个 token跨所有层考察点模型下一步该做什么、当前算到哪这类过程性状态是否可被读出评测集五lens-eval-association——概念联想 lens-eval-association.json102 条每条样本是一段小叙事 vignette暗示一个概念但从不点名例如She kept his coffee mug on the counter, washed it every morning and put it back, though no one had used it in eleven months.对应的intermediates就是那个词grief其他样本还覆盖 pregnancy、lie、poverty、proposal 等。读取位置在末尾句号。考察点最接近读心的评测——只给情境不给标签透镜能否读出模型心里想的那个词难度定位通常被视为对透镜语义抽象能力要求最高的评测集之一评测集六lens-eval-typo——拼写纠错 lens-eval-typo.json96 条每条样本是一句以常见拼写错误结尾的话The course required that every student learn a second langaugeintermediates是正确拼写language。读取位置在拼错词的最后分片 token。考察点即使输入是错的模型内部是否仍表征着正确的词现实意义这是透镜对鲁棒语义通道的检验——错别字不该让概念消失6 大评测集速查表评测集条数读取位置打分概念考察能力multihop93target 前一 token中间桥接实体多跳推理中间态multilingual107target 前一 token语言/关系/概念语言无关性poetry98第一行末换行 token韵脚词前瞻约束order-ops55target 前一 token中间值下一步运算过程性状态association102末尾句号隐含概念词语义抽象typo96拼错词末分片正确拼写鲁棒性上手建议如何跑一次 Lens 质量评测准备模型与透镜pip install -e .后用jlens.fit()拟合或从仓库加载预拟合透镜示例见 README.md 与端到端笔记本 walkthrough.ipynb选工作区区间按各评测集 README 约定在 band 内逐层读取计算 passk对每个intermediates取各层最低排名统计 ≤ k 的比例并平均横向对比6 个集子一起看——某个方法在 poetry 上强但 association 上弱说明它捕捉的是表层词而非语义概念结语评测集才是透镜标尺的核心jacobian-lens 的贡献不止于一个便宜好用的读出工具更在于 data/evaluations/ 这套可复现、全合成、Apache 2.0 许可的评测协议6 个维度覆盖了推理链、跨语言、前瞻约束、过程状态、语义联想与鲁棒性统一的 passk 口径让不同读出方法可以公平横评。对可解释性新手来说读懂这 6 个评测集也就读懂了如何判断一个内部读出工具是否真的看到了模型的想法。赞分享【免费下载链接】jacobian-lensCompanion code for the global workspace interpretability paper项目地址https://gitcode.com/gh_mirrors/ja/jacobian-lens点击查看免费下载相关推荐从Logit Lens到Jacobian Lensjacobian-lens核心原理3大关键点一次讲透从Logit Lens到Jacobian Lensjacobian lens核心原理3大关键点一次讲透 jacobian lens 是 Anthropic 可如何快速提升VSCode代码质量Error Lens插件完整使用指南如何快速提升VSCode代码质量Error Lens插件完整使用指南 Error Lens是一款强大的VSCode扩展插件它通过高亮显示包含错误和警告的整行如何快速创建OpenCore EFI智能自动化工具OpCore Simplify终极指南如何快速创建OpenCore EFI智能自动化工具OpCore Simplify终极指南 OpCore Simplify是一款专为黑苹果用户设计的智能自动化配开发工具CLI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考