这两年聊AI芯片的人明显变多了但多数讨论都挤在“训练卡”和“算力堆料”上。真正到了把大模型放进生产环境的时候大家才发现算力芯片和推理专用芯片根本不是一回事选型逻辑完全不同。尤其是国产AI厂商这一波产品形态五花八门同叫AI芯片有的擅长训练大模型有的专门为在线推理优化有的则主打边缘小盒子。平时总有朋友问我到底该怎么分类、怎么选这篇文章我就把自己在项目里反复对比、部署后的一些判断标准整理出来结合国产厂商的主流产品线给你一份能直接参考的分类推荐。我会把训练和推理的底层差异先讲透再按场景把国产AI厂商拆成几类最后落到实际部署中最容易踩的坑上。不管你是做基础设施选型还是想给自己的推理服务找合适的芯片这篇应该都能帮上忙。1. 先把底层逻辑理清训练芯片和推理芯片到底差在哪1.1 训练阶段的最大瓶颈是“算得完”很多人以为AI芯片就是GPU实际上不管是GPU、NPU还是ASIC只要专门为AI加速都可以叫算力芯片。训练大模型的阶段核心诉求是算力密度和集群互联。一块芯片要在一个合理时间内吃掉海量数据把模型参数一遍遍迭代到收敛。这个阶段看重的指标很简单粗暴总算力高不高、显存够不够、多卡互联带宽能不能撑起大规模并行。所以训练场景通常都是整机柜部署一台服务器插上八张加速卡卡与卡之间还要做高速互联不然数据同步就会卡死。这也是为什么训练芯片往往更贵、功耗更高、散热要求更苛刻。说通俗点训练就像开一个大型装修工程队入场工人越多、工具越猛活才能干得快。但问题在于训练是低频重活。模型训完一次后面的大多数时间都在跑推理。真正持续产生电费和硬件成本的反而是“看起来没那么炫酷”的推理环节。1.2 推理阶段的最大压力是“跑得省”推理是把训练好的模型拿到生产环境里对用户的每个请求实时计算输出。它的核心指标不是“能算多狠”而是“在合理延迟内、以最低成本处理最多的请求”。一次推理请求算量不大但架不住请求量大。一个在线服务每秒可能来几百上千个请求每个请求都要走一遍模型推理。这时候更看重的是吞吐量、单位功耗性能以及响应延迟。推理芯片通常会针对算子做专门优化支持更低的精度计算甚至把多个计算单元做成专用管线目的就是让每一次计算都“省着花”。用大白话讲推理更像是开一家连锁便利店单笔交易额不大但胜在客流量大、频次高比拼的是单店效率和运营成本。1.3 为什么很多厂商现在主打“训推一体”我在选型时经常看到“训推一体”这个词理解它很关键。对大多数国产AI芯片厂商来说同时做训练和推理既能覆盖更广的市场也能让客户的硬件利用率更高。一个支持训推一体的芯片意味着它能跑训练负载也能在推理场景下通过降精度、批处理优化等方式输出高吞吐。但这不代表没有侧重。有的芯片训练表现一般推理优化很突出有的则相反。所以看到“训推一体”时我建议你拆开看两组数据训练工况下的多卡扩展效率和推理工况下的单卡吞吐性能。即便主打训推一体真实产品依然会有明显的长板和短板。2. 国产AI芯片厂商的主流分类我按实际部署场景把国产厂商分成四类。这个分类不含褒贬只代表产品的主攻方向你在选型时可以直接对号入座。2.1 云端大算力派面向训练与训推场景这一类的代表厂商包括华为昇腾、海光信息、寒武纪、燧原科技、壁仞科技、沐曦等。它们的产品主要面向数据中心形态多为标准PCIe加速卡或整机柜级方案主打大规模训练、微调和重度推理。华为昇腾的芯片在国产厂商里落地案例最多从Atlas系列服务器到昇腾910系列覆盖了从训练到推理的完整链路。海光DCU则是走的GPGPU兼容路线早期适配CUDA生态比较友好。寒武纪的思元系列从推理卡一路做到训练卡产品线很完整。燧原、壁仞、沐曦这几家早期多以训练卡切入近两年也都补上了推理卡产品。这类厂商的共同点是需要部署在标准机房需要较强的供电和散热条件软件栈也在持续完善。如果你要跑大模型阶段式训练或者要做高并发在线推理这类是最优先考虑的。以下是常见的云端加速卡类型速查厂商典型产品主攻方向华为昇腾昇腾910系列、Atlas 300I训推一体与推理海光信息深算系列DCU通用GPGPU训练与推理寒武纪思元MLU370、MLU590训练、推理全覆盖燧原科技云燧T系列、云燧i20训练为主推理跟进壁仞科技BR100系列云端训练沐曦C500、C550系列训推一体2.2 推理优化派面向生成式AI与垂直场景推理专用芯片是最近两年最热闹的赛道。与大算力卡追求“单卡通吃”不同推理优化派更强调单位能耗能处理多少请求、每个请求成本压到多低。这里面有几类典型产品。一类是面向大模型在线服务的高性能推理卡比如华为昇腾310P、寒武纪MLU370-S4、燧原云燧i20等它们的算力规模比训练卡小但针对Transformer结构和常见算子做了专门优化在INT8精度下能发挥出非常高的有效算力。另一类是面向私有化部署的中小型推理板卡适合单机多路并发性价比更突出。我接触过不少做AI Agent和RAG应用的团队他们的特点是推理请求量不稳定忽高忽低但延迟要求很高。这时候选推理优化派就比硬上大训练卡划算得多功耗低、部署密度高同样的机柜面积能塞进更多算力。2.3 边缘与端侧派面向设备端部署边缘和端侧是另一套逻辑。摄像头盒子、机器人、工业设备、车载计算平台上功耗被严格限制散热环境也远不如机房。这类产品更多采用NPU方案像地平线征程系列、算能BM1684X、瑞芯微RK3588内置NPU、爱芯元智AX650N等。边缘推理芯片的对比维度非常朴素能效比、内存带宽、解码能力、外设接口兼容性。很多边缘设备不只跑模型推理还要同时处理视频流或多路传感数据所以芯片是否集成编解码硬件往往比纯算力数字更重要。我个人的经验是做边缘端选型前先确认你的部署现场到底能不能提供持续供电、有没有风扇散热空间、摄像头品牌是否兼容否则芯片算力再强都没用。2.4 不同场景的推荐速查表为了方便你直接找定位我做了一张分类推荐表。注意这只是基于主流产品定位的判断具体到某个项目还要结合你自己的模型、框架、预算来验证。应用场景推荐分类参考品牌方向大模型预训练、深度微调云端大算力派华为昇腾、海光、寒武纪大模型在线推理、Agent服务推理优化派华为昇腾、寒武纪、燧原垂直行业私有化部署推理优化派寒武纪、天数智芯、瀚博自动驾驶、机器人边缘与端侧派地平线、爱芯元智安防视频结构化边缘与端侧派算能、瑞芯微轻量级桌面/边缘盒子边缘与端侧派瑞芯微、算能2.5 为什么我不把纯FPGA厂商放进主推名单行业内还有一些FPGA加速方案也在做AI推理加速。但我很少把它作为AI芯片首选推荐原因是FPGA的开发门槛和部署维护成本比专用NPU、ASIC高太多。可能一个项目里用两三个FPGA做定制算子没问题一旦规模放大到几十台设备软件维护就变成噩梦。如果你不是有专门硬件团队在做定制流水线建议优先考虑成熟NPU或GPGPU方案。3. 不同场景下的选型思路选芯片不是跑分最高就行要对应真实业务场景。我根据自己的落地经验把几个高频场景的选型关键点拆开讲。3.1 大模型微调与训练看互联和显存训练和微调场景下单卡算力是基础但多卡互联往往才是决定项目成败的关键。模型训练需要频繁做梯度同步和参数更新如果芯片间的互联带宽不够卡一多性能不升反降。很多国产训练卡单卡纸面算力很漂亮一上8卡集群通信瓶颈立刻暴露。选训练卡时我习惯先问三件事第一卡间互联带宽是多少第二是否有配套的集群管理软件或互联方案第三显存容量和带宽能不能满足你的模型尺寸。以目前主流大模型为例单卡显存不足时就得拆层并行拆层就是对通信的巨大考验。所以训练场景不要只看单卡指标最好能找到同配置下的8卡实测吞吐数据。3.2 在线推理服务看吞吐和延迟在线推理服务分两类。一类是像RAG问答、AI编程助手这类交互式应用用户请求有即时性延迟不能太高另一类是批量处理任务对延迟不敏感但对吞吐要求极高。交互式应用最好选支持动态批处理和算子融合的推理卡同时关注P99延迟指标而不是只看平均延迟。批处理场景反而可以接受较大延迟这时性价比最高的是把单卡吞吐压榨到极致的中高端推理卡而不是一堆低端小卡。我做过一个AI Agent项目高峰期每秒上百个请求每个请求要连续调用多轮模型。一开始用普通低功耗推理卡P99延迟直接超标后来换了支持高并发动态批处理的推理卡延迟降下来单卡吞吐还提升了不少。这就是“同预算下选对推理卡”的价值。3.3 边缘推理与端侧应用看功耗和生态边缘部署的选型逻辑和云端完全不同。你没法给户外摄像头旁边配一个800瓦的加速卡也没有专业机房做恒温恒湿。边缘场景优先看芯片峰值功耗。很多端侧NPU设计功耗在几瓦到十几瓦之间主要依赖内存带宽和专用算子模块来提升性能。重点要确认模型能否被压缩到INT8甚至INT4因为低精度量化能大幅降低对算力和内存的需求。另一个容易被忽视的点是推理框架的适配程度。边缘芯片有没有支持ONNX转换的接口能不能一键部署TensorRT或类似优化引擎这决定了你把模型搬到边缘设备上需要多少额外开发量。有的芯片转换工具链不完善模型一跑就报算子不支持这种代价比选错芯片本身还高。4. 真正关键的指标怎么看这节我列出几个选型时容易看走眼的点都是我实际踩过或者观察到的。4.1 别被“峰值算力”带偏厂商宣传页上那个“几百TOPS”的算力绝大多数是理论峰值真实业务的利用率往往远低于这个数。推理芯片更是如此峰值算力高不代表延迟低。有些芯片会为了提升峰值算力牺牲灵活性很多实际模型里的算子根本发挥不出标称算力。我建议把注意力放在有效利用率上也就是实测模型跑出延迟和吞吐。同一颗芯片在不同算子规模下利用率差异可以非常大一定要拿你自己的模型去测而不是看官方的几款网红模型跑分。4.2 显存带宽和容量是隐性瓶颈推理请求的计算密度不高但模型参数要常驻显存显存容量决定了能不能装下一个完整模型显存带宽决定了每轮计算能多快取到参数。对大模型推理而言显存带宽甚至会直接成为性能天花板。我自己的测试经验是两颗算力相近的芯片显存带宽高的一颗在长上下文场景下优势明显。因为Transformer推理里每一次生成都要读取整个模型的参数带宽不够计算单元再多也只能空转。所以选购时别只看算力看看显存带宽和容量同样关键。4.3 软件栈成熟度往往决定成败很多芯片最后被否掉不是硬件不行而是软件栈太差。推理服务要接入现有框架比如通过ONNX、OpenVINO、Triton等路线部署如果芯片工具链不支持就得自己写算子开发周期翻倍甚至更多。国产AI芯片的软件栈这几年进步很大但各家水平参差不齐。选型时建议直接让厂商提供你常用模型的部署案例、算子支持清单和性能报告甚至要求跑一次实际模型。一个成熟的软件栈能帮你省掉大量迁移成本这比算力数字重要得多。5. 部署实测中的常见坑最后分享几个我在国产AI芯片部署中遇到的问题和解决办法目测能帮你少走一些弯路。5.1 框架适配比想象中更费劲不少开发者在迁移模型时都会遇到算子不支持、精度不对齐的情况。解决思路不是硬啃而是先做算子级兼容性检查把模型里的算子逐个对上去找到不支持的算子后要么改写网络结构要么用芯片厂商的算子替换库。另外一个办法是尽量选用芯片厂商官方发布过的模型模板和示例代码。国产芯片厂商普遍会开源一批常见大模型的适配代码直接基于这些代码修改比自己从零迁移省力得多。5.2 量化精度掉点怎么救推理专用芯片普遍支持INT8甚至INT4但量化后模型精度会有波动尤其在多模态或复杂推理场景里掉点更明显。我常用的是混合量化方案也就是敏感性低的层用低精度敏感性高的层保留FP16或FP32。很多国产芯片工具链已经支持逐层分析敏感性用起来效果不错。另一个技巧是在量化后做一小步重训练或校准用真实数据微调几次精度能明显回涨。5.3 多卡互联的带宽陷阱做模型并行推理时切分模型跨卡卡间通信频率非常高。如果互联带宽不够多卡不仅不能加速反而比单卡更慢。我之前遇到过8卡推理配置实际吞吐还不如4卡就是因为切分策略和互联带宽不匹配。解决办法是先测卡间P2P带宽再根据数据量决定是否值得跨卡切分。很多场景下单卡加载完整小模型、用多卡做负载均衡比跨卡切分更划算。5.4 几个实用小贴士采购前让厂商提供至少两周的测试机用自己的模型、自己的数据做七天以上的可靠性验证。推理芯片的稳定性比峰值更重要跑三天不出错和跑三小时不出错完全是两回事。同时别忘了算TCO总拥有成本。同类性能下功耗低的芯片在三年电费上的差距可能比采购价差还大。很多选型报告只比采购价格这是个常犯的错误。我在实际部署中的体会是国产AI芯片已经过了“能不能用”的阶段现在到了一个“选得好不好”的阶段。只要按照自己的场景把训练、推理、边缘这几类分清楚再结合软件栈成熟度和真实负载测试完全能选出一套高性价比的国产方案。最后一个小建议无论如何多给自己留出测试时间芯片的适配工作永远比你预期要慢。