Counterfactual Reasoning for Steerable Pluralistic Value Alignment of Large Language Models 📅 2026/7/14 6:52:04 文章核心总结本文聚焦大语言模型(LLMs)的多元价值对齐问题,提出COUPLE框架,通过结构因果模型(SCM)和反事实推理,解决现有方法在价值复杂性(忽略价值间依赖与优先级)和价值可控性(难以精准调控细粒度价值)上的核心挑战,实现更准确、可解释的多元价值对齐。主要创新点首次明确核心挑战:点明多元价值对齐需解决的两大关键问题——价值复杂性(多价值维度的相互依赖与优先级)和价值可控性(细粒度价值优先级的精准调控)。提出COUPLE框架:融合结构因果模型(SCM)与反事实推理,SCM建模价值间依赖关系及价值-行为因果链路,反事实推理实现细粒度价值调控,支持未见价值目标的对齐。双阶段适配能力:既支持闭源大模型的推理时对齐(三步骤流水线:价值归因→价值干预→反事实预测),也可通过合成数据为开源小模型提供微调支持(朴素SFT与基于推理的SFT)。增强可解释性:通过提取价值概念(价值的行为指标),使价值对齐过程透明化,生成结果可追溯价值优先级的影响。翻译部分(Markdown格式)Abstract随着大型语言模型(LLMs)日益融入服务不同文化、社群和人群的应用中,使模型对齐超越平均原则(如有益性、诚实性、无害性HHH)的多元人类价值至关重要。在施瓦茨价值理