SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...

📅 2026/7/19 16:09:12
SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...
文章主要内容总结该研究针对大型语言模型(LLMs)在移动和边缘设备部署时面临的模型提取攻击风险,提出了一种混合框架SecureInfer。其核心思路是结合可信执行环境(TEEs,如Intel SGX)的硬件隔离能力与GPU的高性能计算优势,通过威胁感知和信息论驱动的细粒度模型划分,在保障隐私安全的同时避免性能损耗。具体而言,SecureInfer将LLMs中隐私敏感组件(如Q/K/V投影、注意力分数计算、前馈网络块、LoRA适配器等)部署在SGX安全飞地中执行,而将计算密集但安全性要求较低的线性操作(如矩阵乘法)加密后卸载到GPU,CPU仅负责输入输出等非敏感控制流程。通过分块安全张量执行、轻量级加密、一次性掩码等优化策略,解决了边缘设备内存有限、延迟敏感的问题。实验基于定制化LLaMA-2模型验证,结果显示:与纯TEE部署相比,SecureInfer实现了最高4.7倍的速度提升;与纯GPU部署相比,仅产生2.06倍的延迟开销,且输出保真度损失极小(BLEU分数下降低于0.12);在黑盒攻击场景中,能有效降低模型提取 fidelity,token匹配率仅为56.4%,为边缘设备上LLMs的安全部署提供了实用解决方案。文章创新点混合架构设计:首次提出TEE-GPU异构协同框架,突破纯TEE性能瓶颈和纯GPU隐私漏洞,实现安全与性能的平衡。细粒度威胁感知划分策略:不同于传统基于层深度的粗粒度划分,基于组件敏感性(抗模型提取攻击能力)和计算强度进行精准划分,适配Transformer