标题Self-Guided Test-Time Training for Long-Context LLMs来源arXiv, 2607.09415v1️文章简介研究问题如何解决长上下文测试时训练中因全量训练昂贵且随机采样噪声大导致模型性能下降的问题主要贡献论文提出自引导测试时训练方法S-TTT利用模型自身筛选关键证据片段进行适配显著提升长文本推理准确率。重点思路诊断发现训练数据质量是长文本TTT的核心瓶颈在高质量Oracle片段上训练可大幅提升性能而在随机片段上训练反而损害基座模型表现。设计两阶段S-TTT框架第一阶段让模型阅读完整上下文与问题自主识别并标记出支持回答问题的原文证据片段作为训练数据。第二阶段仅对筛选出的证据片段执行下一词预测目标进行参数微调避免在全量无关文本上浪费算力或引入噪声干扰。推理阶段保持原始完整上下文输入不变使用适配后的模型权重生成答案确保不丢失潜在有用信息且无需修改解码流程。采用LoRA等参数高效微调技术仅更新少量参数即可完成实例级适配兼顾了训练效果与计算效率。分析总结在LongBench-v2和LongBench-Pro基准上S-TTT使Qwen3和Llama-3.1模型的准确率最高相对提升15%持续优于全量TTT及随机采样TTT等基线。随着上下文长度增加S-TTT的优势愈发明显证明在长文本高噪环境下精准筛选训练数据比盲目扩大训练范围更为关键。对比实验表明基于问题感知的模型标注片段选择策略显著优于基于困惑度或熵等无监督内在指标的选择方法。注意力可视化分析显示S-TTT使模型对选定证据片段的注意力更加集中和连续证实适配过程有效强化了关键信息的内部表征。效率分析表明虽然短文本时S-TTT有额外开销但在64k以上长文本场景中其端到端延迟低于全量TTT具备实际应用潜力。个人观点该文将长文本TTT的研究重心从“如何高效适配”转移到“适配什么数据”上挖掘了LLM自身的语义理解能力作为数据过滤器。