联邦大模型Federated Large Language Model

联邦大模型Federated Large Language Model

摘要：大规模语言模型（LLM）受到了广泛的关注，并应用在各个领域，但在场景发展中仍面临挑战。这些挑战源于公共领域数据稀缺以及在私有领域数据的隐私保护。为了解决这些问题，提出了联邦大规模语言模型（Federated LLM）的概念，共包括三部分，即联邦LLM预训练（Federated LLM pre-training）、联邦LLM微调（Federated LLM fine-tuning）和联邦LLM提示工程（Federated LLM prompt engineering）。针对每个组成部分，我们讨论了它相对于传统LLM训练方法的优势，并提出了具体的工程策略以供实施。此外，我们探讨了联邦学习与大规模语言模型整合所引入的新挑战。我们分析了现有解决方案，并在联邦LLM的背景下确定了这些解决方案可能面临的潜在障碍。

隐私保护计算的三种主要方法

（1）基于密码学的方法：主要关注多方安全计算（MPC）。
（2）机密计算：利用可信执行环境（TEE）。
（3）联邦学习：跨机构数据协作。

大模型（LLM）训练包含三个阶段

预训练（pre-training）、自