突破LLM长度限制Attention Sinks如何实现无限文本生成而不牺牲性能【免费下载链接】attention_sinksExtend existing LLMs way beyond the original training length with constant memory usage, without retraining项目地址: https://gitcode.com/gh_mirrors/at/attention_sinks你是否遇到过大型语言模型LLM在处理长文本时突然失忆或生成混乱内容的情况 这通常是因为传统LLM在生成超过其训练长度的文本时会出现内存线性增长和性能急剧下降的问题。而Attention Sinks技术正是解决这一痛点的革命性方案它能让现有LLM突破原始训练长度限制以恒定内存占用实现无限文本生成且无需重新训练模型。什么是Attention SinksAttention Sinks是基于论文《Efficient Streaming Language Models with Attention Sinks》实现的开源项目它通过修改滑动窗口注意力机制让LLM能够无限生成流畅文本。核心原理是保留少量初始注意力汇点attention sink标记和最近的上下文窗口同时丢弃中间标记从而在保持恒定内存使用的同时维持生成质量。三种方案对比传统LLM处理长文本时主要面临两种困境普通transformers内存使用随文本长度线性增长超过训练长度后性能严重下降窗口注意力内存使用恒定但会丢失早期上下文很快就会生成无意义内容而Attention Sinks则结合了两者的优势恒定内存占用通过4个注意力汇点标记1020个最近标记的窗口机制长期保持生成流畅性即使处理数百万标记也不会失忆惊人的性能表现困惑度对比实验以下是不同模型在三种方案下的困惑度perplexity对比困惑度越低表示生成质量越好Llama-2-7b-hf与Falcon-7B模型表现transformersVRAM使用线性增长超过训练长度后性能崩溃windowedVRAM使用恒定但上下文窗口滑动后性能立即下降attention_sinksVRAM使用恒定且困惑度始终保持稳定MPT-7B与Pythia-6.9B模型表现实验结果表明Attention Sinks在各种模型架构上都能保持稳定的低困惑度而其他方案在长文本生成中很快就会失效。无限生成流畅度测试在Llama 2 7B模型上进行的10,000标记无限生成测试中transformers方案日志约1900标记后失去流畅性开始生成乱码如‍窗口注意力方案日志约1000标记后失去流畅性生成大量换行和无意义字符OOOMMO̶OANOOAMOO̶OMMOAttention Sinks方案日志全程保持流畅完成全部10k标记测试✅快速开始5分钟上手Attention Sinks安装步骤安装Attention Sinks非常简单只需一行命令pip install attention_sinks基本使用方法使用Attention Sinks与标准transformers API几乎相同唯一区别是从attention_sinks导入模型类from attention_sinks import AutoModelForCausalLM model AutoModelForCausalLM.from_pretrained( mosaicml/mpt-7b, device_mapauto, torch_dtypetorch.float16, # Attention Sinks特有参数 attention_sink_size4, # 注意力汇点标记数量默认4 attention_sink_window_size252 # 滑动窗口大小默认1020 )支持的模型Attention Sinks目前支持多种主流LLM架构Llama系列包括Llama 2MistralFalconMPTGPTNeoX (Pythia)GPT-JQwenStableLM_epochBTLMYi高级应用构建流式对话系统Attention Sinks特别适合构建需要长时间运行的对话式AI系统。通过demo/streaming.py脚本你可以实现多轮对话而不会丢失上下文或耗尽内存。以下是构建流式对话系统的核心步骤加载模型时配置适当的注意力汇点大小和窗口大小保存每轮对话生成的past_key_values作为历史上下文在后续对话中传入历史past_key_values以保持上下文连贯这种方法已在MT-Bench基准测试中证明能显著提高多轮对话的流畅性尤其对于Llama-2-7b-chat、Mistral-7B-Instruct等对话模型效果显著。常见问题解答Attention Sinks真的能处理无限长文本吗是的它通过保留最近标记和注意力汇点在恒定内存占用下实现无限文本生成。实验表明模型困惑度在400万标记后仍然保持稳定。这是否扩展了LLM的上下文窗口不是。上下文窗口仍受原始预训练限制。Attention Sinks的优势在于能在不刷新缓存的情况下持续生成而不是增加模型能理解的上下文长度。最适合的使用场景是什么Attention Sinks最适合流式应用如多轮对话系统实时日志分析持续运行的AI助手需要长时间生成的内容创作与其他上下文扩展方法有冲突吗没有Attention Sinks可以与LongChat等上下文扩展方法结合使用进一步提升长文本处理能力。性能基准测试项目提供了完整的基准测试工具你可以通过benchmark/perplexity.py脚本测试不同模型在各种配置下的表现python benchmark/perplexity.py --experiment attention_sinks --model_name_or_path meta-llama/Llama-2-7b-hf测试结果会生成CSV文件可通过benchmark/plot_perplexity.py可视化python benchmark/plot_perplexity.py --features perplexity vram --output_dir benchmark/outputs_llama_2_7b总结Attention Sinks为LLM的长文本生成提供了突破性解决方案它以最小的改动实现了 无限文本生成能力 恒定内存占用 不牺牲生成质量和性能 与现有transformers API无缝集成无论你是构建对话机器人、内容生成工具还是需要处理长文本的应用Attention Sinks都能帮助你突破LLM的长度限制开启无限可能要开始使用只需执行git clone https://gitcode.com/gh_mirrors/at/attention_sinks cd attention_sinks pip install .查看项目demo目录获取更多使用示例或参考CHANGELOG.md了解最新功能更新。【免费下载链接】attention_sinksExtend existing LLMs way beyond the original training length with constant memory usage, without retraining项目地址: https://gitcode.com/gh_mirrors/at/attention_sinks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考