文章核心总结与翻译一、主要内容本文针对大型语言模型（LLMs）部署时面临的带宽和计算资源需求过高的问题，提出了一种协同稀疏与低秩压缩（SSLC）方法。该方法融合了剪枝（稀疏优化）和低秩近似两种技术的优势：低秩近似通过保留模型核心结构实现低信息损失压缩，稀疏优化则剔除非关键权重以维持泛化能力。文章通过理论分析将两种技术统一为一个优化问题，采用迭代优化算法求解，无需额外训练步骤即可实现高效压缩。在LLaMA系列（7B-70B）和Qwen2.5系列（7B-14B）模型上的实验表明，SSLC在50%压缩率下无性能损失，且实现至少1.63倍的推理加速；微调后性能接近原始稠密模型，部分任务精度甚至超过原生小参数量模型。二、创新点协同优化框架：首次将低秩近似与剪枝技术深度融合，数学上同时具备低秩近似的正交性和稀疏重构的满秩特性，有效保留模型表达能力。数据感知优化目标：设计统一的数学优化目标，联合考虑低秩和稀疏组件对重构损失的影响，而非单独优化某一组件。高效迭代算法：将联合优化分解为稀疏化和奇异值分解（SVD）两个子问题交替求解，采用随机SVD降低计算开销，支持并行执行。关键权重保留策略：保留1%高显著性权重，平衡压缩率与性能，且无需额外结构成本。轻量化微调方案：利用分解得到的低秩矩阵直接微调，无需引入额外LoRA参数，实现参数