接上文为什么DPDK轮询DD Bit不会把PCIe读爆——RX Descriptor Cache深度解析上-CSDN博客八、为什么DPDK还要不断Prefetch Descriptor很多开发者看到PMD源码都会发现类似代码rte_prefetch0(rx_ring[rx_id 4]);第一反应通常是Descriptor不是一直在Cache里面吗为什么还要Prefetch答案其实很简单Descriptor在Cache。但是不一定在L1 Cache。现代Intel Xeon缓存结构通常如下CPU ↓ L1 Cache最快 ↓ L2 Cache ↓ LLC(L3) ↓ DDR如果Descriptor刚刚被NIC DMA更新。对应Cache Line很可能已经不在L1。甚至已经被其它热点数据替换出去。因此PMD提前Prefetch后面的Descriptor。目的就是当CPU真正处理下一批Descriptor时Cache Line已经进入L1。核心知识点五Prefetch优化的不是PCIe。而是CPU Cache Latency。九、为什么DD Bit总是一批一批回来很多开发者抓包观察。发现DD不是Packet1 DD1 Packet2 DD1 Packet3 DD1而更像Packet1 Packet2 Packet3 Packet4 ...... ↓ 全部DD1为什么原因就在于Intel网卡内部存在Descriptor Cache。收到Packet以后NIC并不会立即DMA更新每一个Descriptor。而是首先完成Packet DMA。随后Descriptor进入网卡内部缓存。满足一定条件以后统一Write Back。这样PCIePosted Write数量明显减少。总线效率提高。因此CPU看到DD往往是一批一批回来。而不是一个一个回来。需要说明不同Intel网卡如82599、X710、E810Descriptor Write Back策略存在细节差异但批量更新这一思想是高速网卡普遍采用的优化方式。十、CPU轮询DD到底有没有Cache Miss答案有。但是远远没有大家想象那么严重。例如假设一个Descriptor16 Bytes一个Cache Line64 Bytes。那么一个Cache Line正好包含4个Descriptor。CPU读取第一个Descriptor发生一次Cache Fill。随后Descriptor2、Descriptor3、Descriptor4全部直接命中L1 Cache。因此真正Cache Miss远小于轮询次数。这也是为什么DPDK总喜欢Burst。连续访问。连续处理。连续Prefetch。因为它们天然符合CPUCache访问模式。核心知识点六真正发生Cache Miss的不是每一个Descriptor。而是每一个Cache Line。十一、为什么PMD源码总是连续访问Descriptor继续观察典型RX Poll Loop逻辑可以抽象为for (;;) { rxdp rx_ring[rx_id]; if (!(rxdp-status DD)) break; process_packet(); rx_id; }很多初学者认为这里只是在遍历数组。实际上它正好符合CPUHardware Prefetch。因为Descriptor连续排列。CPU读取Descriptor0。Hardware Prefetch已经开始加载Descriptor4Descriptor8Descriptor12。所以真正进入L1 Cache速度远远快于随机访问。这也是为什么Descriptor Ring始终采用连续内存。而不会采用链表。十二、真正影响DD轮询性能的是什么到这里。终于可以回答文章标题。为什么DPDK轮询几十亿次DDPCIe却没有爆答案因为CPU几乎没有PCIe Read。真正影响DD轮询性能的是下面四件事情。第一Descriptor是否连续。第二Cache Line是否命中。第三Prefetch是否及时。第四DescriptorWrite Back是否足够高效。真正限制RX性能的。已经不是PCIe。而是CPU Memory Hierarchy。核心知识点七当Descriptor进入CPU Cache以后。整个RX Poll Loop几乎已经变成一次普通数组遍历。这也是DPDK能够做到每秒数亿次DD轮询。CPU仍然保持极高效率的根本原因。十三、一次真实优化后来团队发现某版本修改了RX处理流程。导致Descriptor Prefetch 提前距离由8改成2。例如原来prefetch(rxdp 8);变成prefetch(rxdp 2);压测100GbE。结果PPS下降约6%。Perf统计显示L1 Miss明显增加。重新恢复Prefetch距离。性能立即恢复。整个过程中没有修改任何协议。没有修改任何算法。只是CPU等待Cache的时间变长了。十四、很多开发者真正应该关注什么很多人一直关注DD。实际上DD只是一个Status Bit。真正应该关注的是Descriptor什么时候Write Back。什么时候进入CPU Cache。什么时候完成Prefetch。什么时候开始处理。这才是高速RX路径真正决定性能的地方。十五、全文总结很多DPDK开发者第一次阅读PMD源码时都会误以为CPU不停轮询DD Bit意味着不断访问PCIe总线。事实上在主流Intel服务器平台上RX Descriptor存放于Host MemoryCPU访问Descriptor主要依赖Cache体系PCIe事务主要由NIC发起DMA完成Descriptor连续布局使CPU能够充分利用Hardware Prefetch软件Prefetch进一步隐藏Cache访问延迟。因此真正决定DD轮询性能的。不是PCIe。而是Cache Line的组织方式、Descriptor布局以及CPU内存层次。理解这一点以后再阅读DPDK PMD源码就会发现大量看似简单的代码其实都是围绕CPU Cache优化展开的而不是围绕PCIe优化。全文核心知识点CPU轮询DD Bit时读取的是Host Memory而不是PCIe设备空间。RX Descriptor Ring位于DMA一致性内存由CPU和NIC共享访问。NIC通过DMA Write Back更新DescriptorCPU通过Cache一致性观察到DD变化。Prefetch优化的是Cache访问延迟而不是PCIe访问。Descriptor连续布局能够充分利用Hardware Prefetch。真正发生Cache Miss的是Cache Line而不是每个Descriptor。高速RX Poll Loop本质上是一段高度Cache友好的连续内存遍历代码。理解Descriptor Cache、Write Back和CPU Cache层次比理解DD Bit本身更重要。