1. 项目概述当“智能体”遇上“内核生成”最近在跟几个做AI芯片和编译器的朋友聊天大家不约而同地提到了一个词Agentic Kernel Generation。这听起来像是一个把“智能体”和“内核生成”强行拼在一起的时髦术语但背后反映的其实是我们在面对层出不穷的新型AI加速器Emerging Accelerators时一种深刻的无力感和随之而来的新思路。传统的编译器比如我们熟知的LLVM、GCC或者AI领域专用的TVM、MLIR它们做内核Kernel生成和优化本质上是一套基于规则和启发式搜索的“专家系统”。编译器工程师把他们对硬件架构的理解比如内存层次、计算单元、数据搬运和对计算模式的认知比如矩阵乘、卷积、注意力编码成一系列的Pass优化遍和调度原语。这套方法在过去几十年尤其是CPU和GPU相对稳定的时代取得了巨大成功。你写一个CUDA KernelNVIDIA的nvcc编译器会帮你做寄存器分配、循环展开、指令调度虽然不一定是最优解但结果通常可预测、性能也足够好。但时代变了。现在的AI加速器从存算一体、光计算、到各种稀疏化、近似计算架构再到领域专用的张量处理器TPU-like和可重构阵列其硬件特性和编程模型五花八门。一个为GPU设计的优化规则比如对共享内存Shared Memory的巧妙使用在一种没有共享内存、但有超大规模片上缓存Scratchpad的加速器上可能完全失效甚至成为性能瓶颈。更棘手的是许多新兴加速器为了追求极致的能效比其硬件行为是非确定性的或高度依赖于数据模式的。比如某些存内计算单元的实际延迟和功耗可能与输入数据的值分布强相关。传统的、基于静态分析和固定代价模型的编译器在这里就“抓瞎”了。这就是“Agentic”思路切入的契机。所谓“Agentic”在这里并非指一个具身智能体而是借鉴了AI智能体AI Agent的核心思想感知-决策-执行-学习的闭环。我们不再试图编写一个能应对所有情况的、庞大而僵化的编译器而是构建一个或多个轻量级的、具备一定自主性的“智能体”。这些智能体运行在编译时甚至运行时它们能够感知Perception获取当前目标加速器的详细配置、状态如缓存热度、带宽利用率以及待编译计算子图Kernel的特征如数据形状、稀疏度、计算密度。决策Decision基于一个可学习的策略而非固定规则动态地选择或生成一个优化方案。例如决定对这个特定的卷积操作是采用Im2ColGEMM还是Winograd或者是直接手写一个针对该加速器脉动阵列的微内核。执行Execution将决策方案实例化为具体的、可执行的低级代码如汇编、特定加速器的指令流。学习Learning通过收集本次执行的性能反馈如实际运行时间、功耗来更新自己的决策模型使其在未来面对类似场景时能做出更优的选择。简单说Rethinking Agentic Kernel Generation就是要把内核生成从一个“开环的、基于专家经验的工程问题”转变为一个“闭环的、数据驱动的学习问题”。这不仅仅是给编译器加个AI模块那么简单它涉及到对整个编译栈设计哲学的重构。接下来我将从设计思路、核心挑战、一个参考实现框架以及未来的可能性几个方面深入拆解这个话题。2. 核心思路从“规则引擎”到“学习型智能体”为什么传统的路子走不通了我们需要先理解新兴加速器带来的根本性挑战。2.1 新兴加速器的“不确定性”挑战传统的CPU/GPU架构其性能模型相对稳定。L1缓存的访问延迟是几个周期全局内存的带宽是几百GB/s这些参数虽然会因工艺和频率有波动但大体在一个可预测的范围内。编译器可以基于一个静态的、参数化的代价模型来做优化。比如TVM的AutoTVM就是在一个由循环变换、线程绑定、缓存平铺等操作构成的大搜索空间中基于一个可微调的代价模型进行搜索寻找最优配置。但新兴加速器打破了这种确定性架构异构性计算单元可能是标量、向量、矩阵、甚至空间计算阵列的混合。数据通路可能非常规比如支持直接张量搬移或计算与数据重组如Transformer中的转置深度融合。行为的数据依赖性在一些非易失内存存算一体NVM-based CIM架构中写操作的延迟和能耗远高于读操作且与要写入的具体数据模式相关。一个不考虑数据值的静态调度可能导致性能剧烈抖动。资源的动态争用在众核或多租户场景下片上网状互连NoC的带宽、共享缓存/存储器的带宽会随着邻居核或同时运行的其他任务的行为而动态变化。稀疏性与近似计算许多加速器原生支持稀疏计算或近似计算单元如乘加树支持跳过零值或低精度累加。最优的代码生成策略高度依赖于输入张量的实际稀疏模式和所需的精度容忍度。面对这些预先写死的优化规则heuristics要么覆盖不全要么在边界条件下性能退化严重。而穷举搜索如AutoTVM的搜索空间会因变量增多而指数级爆炸变得不可行。2.2 Agentic 范式的四大支柱Agentic Kernel Generation 的核心是构建一个能应对上述不确定性的自适应系统。其架构可以围绕四大支柱展开支柱一可学习的代价模型与策略网络这是智能体的“大脑”。它不再是一个简单的线性回归模型预测周期数而可能是一个图神经网络GNN或Transformer模型。其输入是一个联合表征计算图特征以算子为节点、数据流为边的计算子图节点和边可以附着操作类型、张量形状、推测的数据稀疏度等属性。硬件配置特征加速器的抽象配置如计算阵列大小、内存层次容量与带宽、特殊功能单元的存在性等。运行时上下文可选在JIT编译时可能还能获得一些运行时提示如预期张量大小范围、常见数据模式等。这个模型的输出可以是一个具体的调度决策如选择调度模板A也可以是一组用于指导代码生成的连续参数如循环分块的具体尺寸、展开因子。这个模型通过强化学习或基于性能反馈的监督学习进行训练。支柱二细粒度的、可组合的代码生成原语这是智能体的“武器库”。为了赋予智能体灵活的决策空间我们需要将内核代码分解为更细粒度的、可机械组合的原语Primitives。这比传统编译器的中间表示IR层次要低但比最终指令要高。例如数据搬运原语load_tile_to_reg,store_reg_to_smem,async_copy。计算原语mma_sync矩阵乘累加,vector_fma,special_activation。同步与调度原语pipeline_barrier,double_buffering_setup。智能体的决策就是为当前的计算子图从武器库中选择并拼接出一套合适的原语序列并设置好每个原语的参数如循环边界、步长。这就要求我们的代码生成器是高度模块化和参数化的。支柱三轻量级、低开销的性能评估与反馈回路这是智能体的“学习循环”。在部署后智能体需要持续学习以适应实际工作负载。我们不可能每次编译都让它在真实硬件上跑一遍来收集数据那样开销太大。因此需要模拟器/预估器一个足够快且相对准确的性能/功耗预估模型用于在编译时快速评估成千上万个候选内核。这个预估器本身也可以是一个轻量级神经网络从详细的周期级模拟器或真实硬件采样数据中蒸馏得到。在线微调在安全可控的环境下如芯片测试阶段、或用户允许时将生成的内核在真实硬件上运行收集真实的性能计数器数据cycles, cache miss, energy用这些黄金数据对代价模型和预估器进行微调减少“模拟器偏差”。支柱四层次化的智能体协作一个“全能”的智能体很难设计。更可行的方案是采用层次化或多智能体架构宏观调度智能体负责高级决策比如将一个大的计算图划分到多个计算核心上决定数据流是权重固定Weight Stationary还是输出固定Output Stationary。微观生成智能体负责单个核心内的内核代码生成即具体如何编排原语。专项优化智能体负责特定领域的优化如一个专门优化稀疏矩阵乘的智能体一个专门处理动态形状的智能体。这些智能体之间可以通过消息传递或共享的中间表示进行协作甚至引入一些“辩论”机制让多个智能体提出方案由一个仲裁者根据预估代价选择最佳方案。注意这里谈的“智能体”并非一个独立的、有意识的AI进程而是一个封装了感知、决策、执行逻辑的软件模块。它的“智能”体现在其内部的机器学习模型上。在工程实现上它可能就是一个链接到编译器中的共享库。3. 构建一个原型系统从概念到实践理解了思路我们来看看如何动手搭建一个简单的 Agentic Kernel Generation 系统原型。我们将以“为一种假设的、具有可配置内存层次的小型张量加速器生成矩阵乘法内核”为例。3.1 系统架构设计我们的原型系统主要包括以下组件硬件抽象层HAL描述目标加速器的配置文件YAML/JSON。包括compute_units: 计算阵列大小如[M, N, K] [16, 16, 4]表示一个16x16的MAC阵列每次处理4个深度的累加。memory_hierarchy: 描述寄存器文件RF、共享缓存L1、全局内存DRAM的容量和带宽。special_instructions: 支持的特殊操作如load_matrix,store_matrix,sync等。计算图提取器从高级框架如PyTorch导出的模型中提取出目标计算子图这里就是一个matmul节点并将其转化为一个内部的图表示Graph IR节点带操作类型和输入输出形状。智能体核心Agent Core编码器Encoder一个GNN将Graph IR和HAL配置编码为一个固定长度的特征向量。策略网络Policy Network一个多层感知机MLP以上述特征向量为输入输出一个“动作”。在这个简单例子中动作可以定义为几个关键调度参数tile_m,tile_n,tile_k分块大小以及use_double_buffering是否使用双缓冲。代码生成器Code Generator根据智能体输出的动作参数调用对应的代码模板如C模板或Python字符串模板实例化出具体的、针对目标加速器指令集的内核代码。模板中预留了这些参数的位置。评估器Evaluator快速评估一个基于分析的代价模型根据生成的代码、HAL配置和输入形状估算执行周期和内存访问次数。真实评估训练阶段将生成的代码编译并运行在加速器模拟器或FPGA原型上获取真实性能数据。训练循环使用强化学习如PPO或进化策略通过大量随机生成的matmul形状和硬件配置来训练智能体。奖励Reward是性能的倒数如1/cycles。3.2 关键实现细节与踩坑记录细节一如何设计动作空间动作空间的设计直接决定了智能体的能力上限和训练难度。对于矩阵乘一个过于简单的动作空间如[tile_m, tile_n, tile_k]可能不够。我们需要考虑更多因素循环次序是(m, n, k)还是(n, m, k)这会影响数据局部性。向量化/展开因子在k循环上展开多少数据预取策略何时发起下一块数据的异步加载一个实用的技巧是采用分层动作空间。智能体先做一个高层分类决策如选择“以输出为导向的分块策略”再在该策略下选择连续参数。这比让智能体直接在一个巨大的离散空间里搜索要高效得多。细节二代价模型怎么建一个纯粹基于机器学习的黑盒模型在初期数据少时很不准。更好的方法是混合建模分析模型作为基础根据代码静态分析计算理论上的计算量FLOPs、内存访问量Bytes以及根据HAL带宽计算出的内存墙时间。机器学习模型作为修正项用一个小的神经网络来预测分析模型无法捕捉的“偏差”比如缓存冲突、流水线气泡、资源争用带来的额外开销。这个神经网络的输入可以包括一些动态特征如分块大小对缓存容量的占用率。踩坑记录训练数据的获取与模拟器偏差初期我们用一个简单的循环模拟器来评估性能并以此作为奖励训练智能体。结果发现智能体很快学会了一些“钻模拟器空子”的诡异策略比如生成极端分块导致模拟器中理想化的缓存命中率100%但实际在RTL模拟中因为地址映射冲突导致性能暴跌。这就是模拟器偏差。解决方案加入随机噪声在快速评估的代价模型中为内存访问延迟等关键参数引入符合真实硬件分布的随机扰动让智能体学会对噪声鲁棒。课程学习先用简单的、偏差大的模拟器进行预训练让智能体学到基本规律。然后用更精确但更慢的模拟器或少量真实硬件数据进行微调。离线数据集如果可能预先用精确模拟器为一批常见算子-配置组合生成“黄金性能数据”作为监督学习的标签。细节三代码生成模板的灵活性代码生成器不能是死板的。我们采用“参数化模板元编程”的方式。例如一个双缓冲的矩阵乘核心循环模板可能看起来像这样伪代码template int TILE_M, int TILE_N, int TILE_K, bool USE_DOUBLE_BUFFER void gemm_kernel(float* A, float* B, float* C, int M, int N, int K) { // 声明寄存器/缓存块 float regs_A[2][TILE_M][TILE_K]; // 双缓冲 float regs_B[2][TILE_K][TILE_N]; float acc[TILE_M][TILE_N] {0}; for (int m_outer 0; m_outer M; m_outer TILE_M) { for (int n_outer 0; n_outer N; n_outer TILE_N) { // 预取下一块数据 (如果启用双缓冲) if constexpr (USE_DOUBLE_BUFFER) { async_load(A_next, ...); } for (int k_outer 0; k_outer K; k_outer TILE_K) { // 加载当前块到寄存器 load_tile(regs_A[curr], A, ...); load_tile(regs_B[curr], B, ...); // 计算核心小矩阵乘累加 for (int mi 0; mi TILE_M; mi) { for (int ni 0; ni TILE_N; ni) { for (int ki 0; ki TILE_K; ki) { acc[mi][ni] regs_A[curr][mi][ki] * regs_B[curr][ki][ni]; } } } // 切换缓冲指针 if constexpr (USE_DOUBLE_BUFFER) { curr 1 - curr; sync(); // 等待异步加载完成 } } // 写回结果 store_tile(C, acc, ...); } } }智能体输出的动作参数{TILE_M32, TILE_N32, TILE_K16, USE_DOUBLE_BUFFERtrue}会直接实例化这个模板。模板本身需要精心设计覆盖各种可能的优化技巧如循环展开、软件流水线并由智能体决定是否启用以及如何参数化。4. 面临的挑战与未来方向尽管前景诱人但将 Agentic Kernel Generation 推向实用化还有重重难关。4.1 工程与算法挑战1. 训练效率与成本训练一个通用的、能覆盖众多算子和硬件配置的智能体需要海量的“状态-动作-奖励”数据。在精确模拟器上收集这些数据耗时极长。如何设计高效的探索策略、利用迁移学习将在GPU上学到的知识迁移到新加速器、以及使用离线强化学习技术是降低训练成本的关键。2. 可解释性与可靠性编译器是系统软件的基石需要极高的可靠性。一个基于神经网络的智能体做出一个糟糕的调度决策可能导致性能下降数十倍甚至产生正确性问题。我们如何解释智能体为什么做出某个决策如何保证其决策的稳定性可能需要引入约束优化将一些硬性约束如寄存器数量不能超标作为优化问题的边界条件而不是完全交给神经网络去“领悟”。3. 泛化能力智能体在一个形状如 1024x1024x1024的矩阵乘上训练得很好能泛化到未见过的形状如 123x456x789吗能从一个加速器如16x16阵列泛化到另一个规模不同但架构相似的加速器如32x32阵列吗这要求我们的状态表征Graph IR HAL必须具备强大的泛化性。图同构网络GIN等在这方面可能有潜力。4. 与现有生态的集成现有的AI框架PyTorch, TensorFlow和编译器生态MLIR, LLVM已经非常庞大。如何将Agentic系统以最小侵入的方式集成进去一种思路是将其作为MLIR中的一个“决策Dialect”或一个特殊的优化Pass。它消费标准的计算图IR输出的是具体的调度决策或参数化的低级循环描述再由后端的传统代码生成器转换为最终代码。4.2 未来可能的研究方向方向一基于大语言模型LLM的代码生成与决策最近代码大模型如CodeLlama, DeepSeek-Coder在生成代码方面展现了惊人能力。我们可以设想一个混合架构让LLM担任“高级策略师”根据自然语言描述的硬件特性和计算任务生成高级的优化策略描述或伪代码然后由传统的、轻量级的强化学习智能体或规则引擎将这些高级描述细化为具体的、可执行的调度参数和代码。LLM负责“创意”和“泛化”传统组件负责“精确”和“可靠”。方向二实时自适应与在线学习未来的编译器可能不再是纯粹的离线工具。在云环境或长期运行的服务中编译器可以作为一个常驻服务JIT Server。它能够监控内核在实际硬件上的运行时性能指标并持续微调其内部的智能体模型实现在线自适应优化。例如发现某个内核在夜间数据稀疏度增高时性能下降可以自动切换到为稀疏模式优化的版本。方向三硬件-软件协同设计最激动人心的方向是将Agentic思想用于硬件-软件协同设计。在芯片设计早期就用智能体驱动的编译器来评估不同微架构选择如缓存大小、互连带宽对典型AI工作负载的性能影响。编译器智能体在这里扮演了“性能预言家”的角色指导硬件架构师做出更优的设计决策形成一个从算法、编译到硬件的完整闭环优化。方向四开放基准与社区生态这个领域的发展亟需一个开放的、涵盖多种新兴加速器架构和AI工作负载的基准测试套件。类似于MLPerf但更侧重于编译器的优化能力而非硬件峰值算力。同时需要建立像Hugging Face Model Hub那样的“智能体Hub”让研究者和工程师可以共享预训练好的、针对特定硬件家族的编译智能体模型加速整个领域的发展。构建一个真正实用的 Agentic Kernel Generation 系统绝非一朝一夕之功。它需要编译器、体系结构、机器学习三个领域的专家深度合作。但可以预见谁能率先解决其中的关键问题谁就能在下一代AI计算基础设施的竞争中占据先机。对于我们开发者而言现在开始关注并理解这一范式转变思考如何将学习能力融入我们手中的工具链或许就是迎接未来挑战的最好准备。这条路注定充满挑战但沿途的风景足以重塑我们构建计算系统的方式。