1. 部署类型选择：实时、异步、批量在部署 LLM 推理服务之前，首先需要根据业务场景选择合适的部署类型。书中详细分析了三种部署方式：在线实时推理：客户端发送 HTTP 请求后立即等待响应，适合聊天机器人、实时推荐等低延迟场景。异步推理：请求被放入队列，服务端异步处理，客户端可通过轮询或回调获取结果，适合耗时较长或不要求实时响应的任务。离线批量转换：一次性处理大量数据，结果存储到对象存储或数据仓库，适合周期性报表或数据分析。对于需要低延迟、用户直接交互的内容创作助手，实时推理是最佳选择。同时需要综合考虑吞吐量、延迟、数据特征和基础设施成本。2. 单体 vs 微服务：LLM 场景下的架构决策LLM 推理服务通常包含两个核心部分：模型推理（需要 GPU 资源）和业务逻辑（如 RAG 检索、Prompt 组装，通常是 CPU 密集型）。单体架构：将所有逻辑打包在同一服务中，部署简单但难以独立扩展。GPU 和 CPU 混合运行会导致资源浪费：GPU 在执行业务逻辑时空闲，CPU 在模型推理时无法充分利用。微服务架构：将模型推理服务与业务逻辑服务拆分为独立微服务，通过 HTTP 或 gRPC 通信。LLM 推理服务可单独使用 GPU 实例（如 A10G、A100），业务逻辑服务使用普通 CPU 实例，各组件独立扩缩，显著降低成本并提高灵活性。书中建议：即使初期使用单体架构，也应在代码层面做好模块解耦（例如将推理和业务逻辑分为不同 Python 包），为后续微服务化打下基础。3. LLM Twin 的微服务架构设计以 LLM Twin 项目为例，其部署架构采用在线实时推理 +