RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large La...

📅 2026/7/16 10:13:28
RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large La...
一、文章主要内容总结本文针对大型语言模型(LLMs)在规则学习中存在的“忽视规则组合效应”“概率规则学习与LLMs耦合不足”等问题,提出了RLIE框架——一种融合规则生成(Rule generation)、逻辑回归(Logistic regression)、迭代优化(Iterative refinement)和评估(Evaluation)的统一概率规则学习范式,核心目标是从数据中学习鲁棒、可解释且可复用的自然语言规则集。1. 核心背景与问题传统规则学习受限于预定义谓词空间,难以处理非结构化数据和开放语义;现有LLM-based规则学习方法多聚焦单规则迭代优化或多规则简单聚合,未充分考虑规则间的协同作用,且缺乏系统的概率校准与组合机制。2. RLIE框架核心流程规则生成:LLM基于少量训练样本和任务上下文生成候选自然语言规则,通过覆盖率筛选形成初始规则集;逻辑回归:使用带弹性网正则化的逻辑回归模型,学习规则的全局权重,实现规则筛选与概率校准;迭代优化:基于预测误差筛选难例,结合当前规则集反馈给LLM,生成新规则或修订旧规则,迭代优化规则集直至验证集性能收敛;多策略评估:对比两类推理策略:直接推理(Linear-only):仅使用逻辑回归模型