当计组遇见大模型计算机组成原理在 AI/LLM/Agent 时代的全面复兴“一切高级抽象最终都要落到硬件上执行。理解组成原理就是理解 AI 的地基。”0. 写在前面如果你是一名计算机专业的学生大概率在大二学过一门叫计算机组成原理的课。那时候你画着 CPU 数据通路图算着流水线吞吐率背着 Cache 替换算法心里可能在想“这些东西以后到底有什么用”2023 年之后答案变得无比清晰——它构成了整个 AI 时代的物理底座。从 LLM 训练集群的 HBM 带宽瓶颈到推理引擎的量化策略选择从 Tensor Core 的脉动阵列设计到 Agent 系统的并发调度模型……组成原理的每一个经典概念都在 AI/LLM/Agent 领域找到了精准的映射。这篇文章就是要打通这两个学科的桥梁。我会以组成原理的经典知识框架为经以 AI 前沿技术为纬编织出一张完整的知识地图。1. 数据表示与运算 → 量化、混合精度与 Tensor Core1.1 计组课上学了什么原码、反码、补码IEEE 754 浮点数FP32/FP64定点数运算、溢出判断ALU 的设计1.2 在 AI 中如何体现LLM 的核心运算就是海量矩阵乘法。一个 70B 参数模型做一次前向推理涉及数百亿次乘加运算。数据用几位表示直接决定了精度格式位宽典型场景组成原理映射FP3232 bit训练基线IEEE 754 单精度BF16 / FP1616 bit混合精度训练自定义浮点格式改变指数/尾数位分配INT88 bit推理量化定点数运算FP8 (E4M3/E5M2)8 bitH100/B200 训练非标准浮点硬件定制FP4 / NF44 bit极致量化推理QLoRA等查表法 近似运算关键洞察量化本质上就是在做计组课上数据表示的取舍——用更少的位宽换取更高的吞吐率同时接受精度损失。这和当年学补码溢出、浮点舍入误差时面对的问题一模一样只不过规模从一次加法变成了千亿次乘加。1.3 Tensor Core一条超级指令计组课上我们学过CISC vs RISC的哲学争论是用一条复杂指令完成复杂操作还是用多条简单指令组合NVIDIA 的 Tensor Core 给出了 AI 时代的答案把 4×4 矩阵乘加D A×B C做成一条硬件指令。传统 CUDA Core: 一次处理 1 个 FP32 乘加 Tensor Core (H100): 一次处理 4×4×4 矩阵乘加 Blackwell B200: 支持 FP4 精度吞吐量再翻 4 倍这就是计组中“专用数据通路”思想的极致体现——当你的工作负载 99% 都是同一种运算时把整个 ALU 设计成只干这一件事的超级 ALU。桥梁总结数据表示 → 量化策略ALU 设计 → Tensor Core / TPU 脉动阵列CISC 哲学 → 专用加速指令。2. 存储层次结构 → 内存墙、KV Cache 与 HBM2.1 计组课上学了什么寄存器 → L1 Cache → L2 Cache → L3 Cache → 主存 → 磁盘局部性原理时间局部性、空间局部性Cache 映射方式直接映射、组相联、全相联存储带宽 vs 延迟的 trade-off2.2 AI 时代的内存墙这是当前 LLM 领域最核心的硬件瓶颈没有之一。一篇被广泛引用的研究指出“LLM 的 token 生成本质上是一个内存密集型任务。模型输出文本的速度受限于从内存读取权重的速度。”用计组的语言翻译一下推理 Decode 阶段 每生成 1 个 token → 需要读取全部模型权重如 70B × 2 bytes ≈ 140 GB GPU 算力~2000 TFLOPS HBM 带宽~3.35 TB/sH100 计算时间 ≈ 几微秒 访存时间 ≈ 几十毫秒 ← 瓶颈在这里计算单元在空转等数据。这就是经典的冯·诺依曼瓶颈在 AI 时代的重现——CPUGPU和存储器之间的带宽鸿沟。2.3 HBM用 3D 堆叠对抗内存墙为了打破这堵墙产业界祭出了HBMHigh Bandwidth MemoryHBM3eH100/B200 使用8 层 DRAM 垂直堆叠通过 TSV硅通孔互连HBM4三星 2026 年 2 月全球首家量产英特尔 XBM2026 年 7 月公布将 DRAM 迁移到后段制程BEOL用薄膜晶体管在金属互连层构建存储单元用计组的话说这就是把存储层次中主存这一层往Cache方向拉近——增加带宽、降低延迟本质上是在重新设计存储金字塔。2.4 KV CacheAttention 机制的Cache 管理问题Transformer 的 Attention 机制中每个 token 都要与之前所有 token 做注意力计算。为了避免重复计算工程上引入了KV Cache——把之前 token 的 Key 和 Value 缓存下来。KV Cache 大小 ≈ 2 × num_layers × num_heads × head_dim × seq_len × bytes_per_param对于一个 128K 上下文的 70B 模型KV Cache 可以轻松达到数十 GB——比模型权重本身还大这立刻变成了一个经典的计组问题计组概念KV Cache 中的映射Cache 容量有限GPU 显存有限KV Cache 放不下替换策略LRU/LFUKV Cache 淘汰策略H2O、StreamingLLM写回 vs 写直达KV Cache 更新策略多级 CacheCPU Offload / Disk Offload 分层存储预取Prefetch推测解码中的 KV 预加载桥梁总结存储层次 → HBM/DDR5/CXL 分层设计局部性原理 → Attention 访问模式Cache 管理 → KV Cache 调度与淘汰。3. 指令系统与并行计算 → SIMT、CUDA 与计算图编译3.1 计组课上学了什么指令格式操作码 地址码寻址方式SIMD单指令多数据指令级并行ILP3.2 GPU 的 SIMT 模型GPU 的编程模型叫SIMTSingle Instruction, Multiple Threads是计组中 SIMD 概念的进化版CPU SIMD如 AVX-512: 1 条指令 → 同时操作 16 个 FP32 数据 GPU SIMT: 1 条指令 → 同时驱动 128 个线程一个 Warp Tensor Core: 1 条指令 → 完成一个 4×4×4 矩阵乘加LLM 的一次前向传播本质上是数百个矩阵乘法 激活函数 归一化的顺序执行。GPU 把这些运算拆解成成千上万个线程并行执行正如计组课上讲的数据级并行。3.3 计算图 ≈ 指令序列深度学习框架PyTorch、JAX在执行模型时会构建一张计算图Computational Graph。这张图在计组视角下就是一个指令序列# 伪代码一个 Transformer Blockxxattention(norm(x))# 指令 1~5xxffn(norm(x))# 指令 6~10推理引擎TensorRT、vLLM、SGLang做的事情本质上就是编译器优化编译器优化技术推理引擎中的对应指令重排序算子调度优化循环展开算子融合Operator Fusion公共子表达式消除共享 KV Cache寄存器分配显存分配与复用指令流水线多 Batch 流水线推理桥梁总结SIMD → SIMT/Tensor Core指令序列 → 计算图编译器优化 → 推理引擎优化。4. 流水线 → 推理流水线与 Continuous Batching4.1 计组课上学了什么五级流水线取指→译码→执行→访存→写回流水线冒险数据冒险、控制冒险、结构冒险流水线吞吐率与加速比4.2 LLM 推理的两阶段流水线LLM 推理天然分为两个阶段┌─────────────┐ ┌─────────────┐ │ Prefill │ ──→ │ Decode │ │ (预填充) │ │ (逐词生成) │ │ 计算密集型 │ │ 访存密集型 │ │ 类似取指 │ │ 类似执行 │ └─────────────┘ └─────────────┘Prefill处理整个输入 prompt高并行度GPU 利用率高 →计算密集Decode逐 token 生成每次只算 1 个 tokenGPU 大量空闲 →访存密集这两个阶段的硬件需求截然不同就像流水线中不同阶段的资源需求不同。4.3 Continuous Batching流水线的动态调度传统推理是一批请求一起进、一起出Static Batching就像没有旁路的流水线——最慢的指令拖慢所有人。vLLM 提出的Continuous Batching和PagedAttention改变了这一点Static Batching: [Req A ████] [Req B ████████] [Req C ██] → 全部等最慢的 Continuous Batch: [Req A ██]→新请求插入→[Req D ███]→... → 动态进出这就是计组中动态调度如 Tomasulo 算法的思想指令不必按序执行哪个操作数准备好了就先执行哪个。桥梁总结流水线阶段 → Prefill/Decode 分离流水线冒险 → Batch 调度冲突动态调度 → Continuous Batching。5. 总线与互联 → NVLink、PCIe 与分布式训练5.1 计组课上学了什么系统总线数据总线、地址总线、控制总线总线带宽 总线宽度 × 总线频率总线仲裁5.2 多卡互联AI 集群的总线问题训练一个万亿参数模型需要数千张 GPU。GPU 之间如何通信成了一个总线设计问题PCIe 5.0 x16: ~64 GB/s CPU ↔ GPU NVLink 4.0: ~900 GB/s GPU ↔ GPUH100 NVLink 5.0: ~1.8 TB/s GPU ↔ GPUBlackwell InfiniBand: ~400 Gbps 跨节点分布式训练中的AllReduce操作所有 GPU 同步梯度本质上就是一个多主设备总线仲裁 广播问题。5.3 CXL内存语义的总线革命CXLCompute Express Link是近年来最重要的互联技术之一它允许 CPU 和加速器之间以内存语义而非传统 I/O 语义进行数据交换。用计组的话说CXL 把总线从通道升级成了共享地址空间打破了传统冯·诺依曼架构中 CPU 独占内存的限制。在 AI 推理中CXL 使得多块 GPU 可以共享一个大内存池解决 KV Cache 过大的问题CPU 内存可以作为 GPU 显存的溢出层类似虚拟内存桥梁总结系统总线 → NVLink/PCIe/CXL总线带宽 → 多卡通信瓶颈总线仲裁 → 分布式梯度同步。6. 冯·诺依曼瓶颈 → 存算一体与近存计算6.1 经典瓶颈计组课上反复强调冯·诺依曼架构中CPU 和存储器是分离的数据必须在两者之间来回搬运。在 LLM 推理中这个瓶颈被放大到了极致每生成 1 个 token: 需要搬运的数据量 ≈ 模型全部权重几十~几百 GB 实际计算量 ≈ 几十 GFLOPS 数据搬运时间 计算时间6.2 产业界的回应技术方向核心思想计组映射存算一体CIM把计算单元嵌入存储器内部打破 CPU-Memory 分离近存计算PNM把计算单元放在存储器旁边减少数据搬运距离HBM 堆叠3D 堆叠增加带宽增加总线宽度CXL 内存池共享大容量内存扩展地址空间Groq LPU用 SRAM 替代 HBM片上存储把主存提升到 Cache 层级Groq 的 LPU 是一个特别有趣的案例它用大量片上 SRAM而非 HBM来存储模型权重彻底消除了片外访存。代价是芯片面积巨大、成本极高——这恰恰是计组课上用面积换速度的经典 trade-off。桥梁总结冯·诺依曼瓶颈 → 存算一体/近存计算Cache-主存层次 → SRAM vs HBM vs DDR 的取舍。7. 中断与 I/O → Agent 系统的操作系统7.1 计组课上学了什么中断机制外部中断、内部中断、异常I/O 方式程序查询、中断、DMA中断优先级与嵌套7.2 Agent一个需要操作系统的智能体2026 年的 AI Agent 已经不是简单的一问一答而是一个长期运行、事件驱动、多任务并发的系统一个典型 Agent 的运行时 ┌─────────────────────────────────────┐ │ Agent Runtime │ │ │ │ ┌─────────┐ ┌─────────┐ │ │ │ LLM 推理 │ │ 工具调用 │ ← 并发任务 │ │ └────┬────┘ └────┬────┘ │ │ │ │ │ │ ┌────▼────────────▼────┐ │ │ │ 事件调度器 (Event Loop)│ ← 中断控制器 │ │ └────┬────────────┬────┘ │ │ │ │ │ │ ┌────▼────┐ ┌────▼────┐ │ │ │ 记忆管理 │ │ MCP 协议 │ ← I/O 设备 │ │ └─────────┘ └─────────┘ │ └─────────────────────────────────────┘用计组/OS 的视角来映射计组/OS 概念Agent 系统中的映射中断外部事件触发用户消息、定时器、工具返回中断优先级任务优先级调度紧急用户请求 后台批处理DMA异步工具调用Agent 发起 API 调用后不阻塞等回调进程独立的 Agent 实例线程Agent 内部的并发子任务上下文切换Agent 在不同对话/任务间切换虚拟内存Agent 的记忆分层工作记忆 → 长期记忆 → 外部存储系统调用Agent 调用外部工具Function Calling沙箱/特权级Agent 的权限控制与安全隔离7.3 Multi-Agent多处理器系统当多个 Agent 协作时如 OpenAI 的 Astra 系统整个架构就变成了一个多处理器系统共享内存模型多个 Agent 共享同一个知识库/向量数据库消息传递模型Agent 之间通过 MCPModel Context Protocol通信一致性协议多个 Agent 对同一事实的认知需要保持一致类似 Cache 一致性协议 MESI桥梁总结中断机制 → 事件驱动 AgentDMA → 异步工具调用多处理器 → Multi-Agent 协作特权级 → Agent 安全沙箱。8. 缓存局部性 → Attention 的访存优化8.1 局部性原理的 AI 映射计组课上学的两大局部性时间局部性刚访问过的数据很快会被再次访问空间局部性访问了一个地址附近的地址也很快会被访问在 Transformer 的 Attention 计算中Q × K^T → Softmax → × V Q: [seq_len, d] K: [seq_len, d] V: [seq_len, d]当seq_len很长128K、1M时K 和 V 矩阵巨大无法全部放入片上 SRAM。这时就需要分块计算Tiling——把大矩阵切成小块逐块加载到片上 Cache 计算。这正是FlashAttention的核心思想标准 Attention: 把整个 Q×K^T 矩阵seq²大小写入 HBM → 读回 → Softmax → 写回 FlashAttention: 分块加载到 SRAM → 在 SRAM 中完成全部计算 → 只写回最终结果 效果: 减少 HBM 读写次数 → 速度提升 2~4 倍显存占用从 O(N²) 降到 O(N)用计组的语言说FlashAttention 是一个教科书级的Cache 优化——通过提高数据在片上 SRAML1 Cache中的复用率减少了对慢速主存HBM的访问。8.2 投机解码分支预测的思想计组中的分支预测在条件分支结果确定之前先猜一个方向执行猜对了就省时间猜错了就回滚。LLM 推理中的投机解码Speculative Decoding完全同构1. 用一个小模型draft model快速猜出 K 个 token 2. 用大模型一次性验证这 K 个 token 3. 如果猜对了 → 加速相当于分支预测命中 4. 如果猜错了 → 从错误位置回滚重来相当于流水线冲刷桥梁总结局部性原理 → FlashAttention 分块策略分支预测 → 投机解码Cache 命中率 → 推理吞吐量。9. 完整映射表计组知识 × AI 应用计组核心概念AI/LLM/Agent 中的对应关键技术/产品数据表示浮点/定点模型量化FP32→FP8→INT4GPTQ, AWQ, GGUFALU / 运算器Tensor Core / TPU 脉动阵列NVIDIA B200, Google TPU v6存储层次Cache-主存HBM-SRAM-寄存器层次HBM4, Groq LPU局部性原理FlashAttention, KV Cache 优化FlashAttention-3, PagedAttention流水线Prefill/Decode 分离Continuous BatchingvLLM, TensorRT-LLM指令并行ILP算子融合、计算图优化XLA, Triton, torch.compile数据并行SIMDSIMT / GPU 大规模并行CUDA, ROCm总线与互联NVLink, PCIe, CXL, InfiniBandGB200 NVL72中断机制Agent 事件驱动、异步工具调用MCP, Function CallingDMA异步 I/O、非阻塞推理CUDA Streams, Async Inference虚拟内存Agent 记忆分层、模型 Offload统一内存Apple/NVIDIA分支预测投机解码Medusa, EAGLE, Draft-Verify多处理器Multi-Agent 协作系统AutoGen, CrewAI, Astra冯·诺依曼瓶颈存算一体、近存计算Groq, Cerebras, 三星 PIM特权级 / 保护机制Agent 沙箱、权限控制安全隔离、RBAC10. 给不同读者的建议 如果你是计组课的学生不要觉得这门课过时了。你学的每一个概念——Cache 映射、流水线冒险、总线仲裁——都会在 AI 芯片设计中以另一种形式出现。建议学完计组后读一读 NVIDIA GPU 架构白皮书如 Hopper/Blackwell尝试用 Triton 写一个简单的矩阵乘法 kernel感受数据通路关注 HBM、CXL、存算一体的产业动态 如果你是 AI/LLM 方向的开发者不要只停留在调 API的层面。理解底层硬件能让你知道为什么推理会慢访存瓶颈而非算力不足理解量化的本质和代价数据表示的精度-位宽 trade-off写出对硬件友好的代码数据布局、内存对齐、算子融合在 Agent 系统设计中借鉴 OS 的并发模型️ 如果你是系统/架构方向AI 正在重新定义计算机系统的设计空间传统 CPU 的通用性让位于 GPU/TPU/ASIC 的专用性存储墙成为第一瓶颈存算一体是未来方向互联NVLink/CXL的重要性超过单芯片算力Agent 系统需要新的操作系统抽象11. 结语计算机组成原理从来不是一门过时的基础课。它是一张理解计算本质的地图。当 AI 从算法论文走向千卡集群当 LLM 从实验室走向亿级用户的推理服务当 Agent 从单轮对话走向长期自主运行——所有的性能瓶颈、架构决策、工程取舍最终都会回到计组课上的那些基本概念。存储层次、流水线、总线、中断、并行……这些不是历史而是正在发生的现在。计组给了你透镜AI 给了你风景。透过透镜看风景你才能看见别人看不见的东西。写于 2026 年 8 月。本文所有硬件数据截至 2026 年中。参考资料NVIDIA Hopper / Blackwell Architecture Whitepaper“The Memory Wall: AI Compute Sparks Memory Supercycle”, TrendForce, 2026FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessvLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention“LLM Inference is Memory-Bound”, Kipply et al.Intel XBM Patent Disclosure, July 2026MCP (Model Context Protocol) Specification如果觉得有帮助欢迎点赞/收藏/转发。有问题评论区见