PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache ...

📅 2026/7/13 16:28:58
PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache ...
一、文章主要内容总结该研究聚焦多模态大语言模型(MLLMs)的幻觉问题,核心发现视觉令牌注意力不足与冗余是导致幻觉的关键原因:冗余视觉令牌分散模型注意力,使关键视觉信息被忽视,进而引发生成内容与图像输入不一致的现象。为解决此问题,研究提出PruneHal框架,通过自适应KV缓存修剪策略,在推理阶段动态保留注意力分数最高的关键视觉令牌,同时避免过度修剪导致的视觉信息丢失。该方法无需额外训练,几乎不增加推理开销,且具有模型无关性,可与现有幻觉缓解解码策略(如DoLa、DeCo等)无缝集成。实验验证方面,在LLaVA、InstructBLIP、Qwen-VL等4种主流MLLMs上,通过CHAIR、AMBER、GPT-4V辅助评估等多个基准测试,证明PruneHal能显著降低幻觉率,同时保持输出的详细性与多样性,与现有方法结合后可达到当前最优性能。二、创新点核心洞察创新:首次明确MLLMs的幻觉与视觉令牌注意力不足、令牌冗余的强相关性,通过定性与定量实验验证——增强视觉注意力可减少幻觉,而冗余令牌会分散关键注意力。方法创新:提出首个将令牌修剪用于MLLMs幻觉缓解的方案,设计自适应KV缓存修剪策略:基于注意力分数筛选Top-K关键视觉令牌,移除冗余令牌以聚焦核心信息;引入投票机制与历史注意力追踪,动态触发修剪操作,平衡幻觉缓解与视觉信息保留;