今年我给自己挖了个大坑做一个AI芯片选型调查第一版表格整理了57种芯片后来越写越多最终到了120多种。朋友问我是不是在收集卡种其实真不是。所有参数拉平对比之后我才意识到AI芯片选型这件事根本没有一张固定的排行榜只有“在你自己约束条件下最合适的搭配”。这篇就聊聊我这份调查是怎么从57种扩散到120多种的以及当一堆参数摆在面前时到底该看什么。如果你是要为某个AI应用选硬件或者正在纠结训练卡、推理卡、端侧NPU怎么分又或者只是不想被厂商纸面参数带跑偏这篇应该能给你一条清晰的筛选路径。内容不涉及具体品牌代指只看方法本身。1. 从57种到120多种一份AI芯片调查的边界是怎么扩大的1.1 初版调查为什么只有57种最开始做调查的动力很简单团队要为一个AI推理项目选设备我负责把市面上“可能用得上”的芯片拉一遍。第一版表格里只有57种基本集中在两类一类是云端AI加速卡里的主流选手另一类是常见边缘盒子用的SoC。当时觉得这个数量够了因为AI推理市场翻来覆去就那么几个大平台在供货芯片名再花哨本质没跑出几个架构。但这个数量很快就不够用了。原因也很直接我开始逐项核对这些芯片在真实负载下的表现发现一个型号在表格里只占一行但它在不同场景下的定位可能完全不一样。同一个系列里会有旗舰款、性价比款、低功耗款不同供货版本又有不同封装和温域。也就是说光把“型号”列出来不算调查得把“型号定位场景约束”一起放进去才具备可比性。所以57种只是一个起点。它是我对新一轮AI硬件市场的第一版认知后来每次发现候选清单里缺了某一类产品表格就会涨一批。最终到120多种不是因为我贪多而是AI芯片的产品线横向切开后确实有这么多值得记录的位置。1.2 覆盖范围为什么要超过实际采购清单很多人会问你只需要给一个项目选几台设备干嘛去覆盖那么多我的看法是选型调查从来不只是为了买到一块卡而是为了确认“为什么选这块而不是另一块”。如果候选集里只有5种芯片最后选出来的结果往往只是“矮子里挑高个”而不是真正适合需求的方案。覆盖120多种还有一个实际作用就是应对需求变化。AI项目的模型不是固定的这个月跑检测模型下个月可能换生成式模型再下个月客户要的是多路视频流并发。每一次变化硬件的需求都会重排。但如果你手里的调查表足够宽重新筛选就只需要改一改权重而不是从头再查一遍市场。表格从57种写到120多种本质上是在为一个动态决策集建索引。覆盖范围也应该大于采购清单还有一层风险考量。很多AI芯片看起来性能很好但实际上是demo级的量产供货、长期维护、软件更新都无法确认。如果只盯着最终能买的卡就会漏掉那些“现在不能买、但可能下个季度就能买”的潜在选项也会漏掉厂商的下一代产品线这些对中长期决策很有参考价值。1.3 120多种之后表格怎么排版本我记得表格中后期被拆成了好几块基础规格、算力指标、内存规格、功耗与散热、软件生态状态、价格区间与供货情况、评测来源。每个芯片除了型号外还标注了“所处场景锚点”比如“云端训练”“云端推理”“端侧视觉”“车规预研”等。这样当我要做某个具体项目的筛选时就先按锚点切一块子集再进入深度比较。表格版本控制也踩过坑。最开始我用一个文件反复改后来发现数据出现的频次太高一改就丢。建议用带日期的文件名每次批量更新就另存一个版本或者用在线表格保留修改记录。毕竟120多种芯片的数据不可能一次性填完它一定是随着调查资料、厂商白皮书、用户实测反馈不断在更新的。2. 选设备到底该看什么四个维度拆解2.1 TOPS、FLOPS这些峰值算力和真实性能差多少选AI芯片时最显眼的参数就是TOPS和FLOPS。但这两个值看看就好不能当真实性能来用。TOPS通常指的是INT8精度下的理论峰值算力FLOPS通常指的是FP16或FP32下的理论峰值。厂商给的都是理想状态下、跑特定算子组合的峰值真实业务负载很难达到这个数字。我自己计算时会用一个更保守的估算方式先算清楚模型需要多少乘加计算量再除以目标推理耗时最后加一个冗余系数。比如一个检测模型前向计算大约需要50GMACs也就是50G次乘加运算要求20毫秒内完成。那么对应的整数算力需求大约是50G乘以2除以0.02秒得到5TOPS。这里乘以2是因为一次乘加在硬件上通常对应两次操作。真要选型我会把这个理论值再卡上1.3到1.5倍冗余因为实际算子效率、内存搬运、模型量化都会吃掉一部分性能。峰值算力最大的迷惑性在于它不体现操作数的精度分布。一块卡INT8是100TOPS但你在它上面跑FP16模型性能可能直接降一半甚至更多反过来如果模型量化到INT4理论上算力还能再涨但精度损失和算子兼容性又要重新评估。所以选设备第一步不是看谁的数字大而是确定你的模型最终要在什么精度下运行然后再拿这个精度下的有效算力去横向对比。2.2 内存带宽与容量决定模型能不能跑、跑得快不快算力决定了处理器的“心脏”有多强但决定整套系统能跑多大模型、跑得快不快的往往是内存子系统。我第一次做筛选时只关注算力后来被现实上了一课同样100TOPS的芯片一块配了高带宽内存另一块用的是普通内存跑同一个Transformer模型时高带宽那个能轻松跑到实时另一个直接变成幻灯片。简单估算可以用这条路径模型权重和中间激活都要驻留在内存里。比如一个7B参数的量化模型如果是INT8那么权重占7GBKV Cache和中间激活再说几GB单是容量就筛掉了一大批端侧芯片。而带宽决定了每个token生成时权重能多快被搬运到计算单元。高带宽内存和普通内存的差距不是一点点而是好几倍。选型时不要只看存储容量比如很多人觉得内存越大越好但实际部署时经常看到某款卡规格看起来很强实际因为内存带宽太低大模型跑不起来。我的习惯是先查芯片的带宽规格再对照模型的单次推理权重量估算理论吞吐再去看算力。容量决定了“能不能装下”带宽决定了“跑得快不快”两件事分开看才不会误判。2.3 功耗、散热和电源连续运行才会暴露的问题设备选型里最容易被低估的参数是功耗。很多芯片纸面性能很漂亮但峰值功耗同样惊人。更麻烦的是真实硬件环境里根本不给它跑满的机会。我之前遇到过一个情况某个加速卡标称性能很高但部署的机箱电源只能给到60%的功率结果卡一跑重负载就触发功耗墙降频性能直接砍到标称值的70%不到。后来排查了很久才发现不是芯片不行是供电跟不上。散热同理。数据中心里服务器风道好功耗高一点还能接受但换到边缘机柜、车载环境、桌面小盒子散热条件变差之后芯片会频繁热降频。一个实际经验是看规格参数里的TDP还不够还要看同系列产品的实测持续功耗以及厂商推荐的散热方案。我之前整理调查表时会把每个芯片标注“能否在无主动散热条件下工作”这个字段在实际部署时价值比很多算力参数都重要。还有一点容易被忽略就是整机功耗和电源适配。很多项目选完卡才发现电源功率不够又要换电源、换机箱预算和周期双双失控。建议在初筛阶段就把整机功耗作为强制约束条件提前规划好供电余量。2.4 软件生态与易用性前期不算账后期成本翻倍这块是我最想提醒别人的部分。AI芯片的硬件指标只是起点真正的开发周期和交付质量很大程度上由软件生态决定。主流GPU厂商之所以强不只是芯片算力高还因为配套的开发框架齐全模型转换工具成熟算子库覆盖广遇到问题能查到大量解决方案。而一些新出来的AI加速卡芯片数据很好看但工具链不完善支持列表里缺算子你只能自己写算子或者找厂商定制开发周期从两天拉到两个星期。调查表格里我给每个芯片的软件生态打过分分成几档完全成熟的、基本可用的、需要深度适配的、只有实验性支持的。这个分数对选型影响极大。还是那句话硬件只决定上限软件决定你能用出多少上限。如果团队里没有太多搞底层移植的人那应该优先考虑生态成熟的平台。另外设备后续的固件更新、驱动维护、模型转换工具支持也要放进调查范围。有些芯片当年很火过两年厂商转型不更新工具链了你的项目就得跟着踩坑。所以我在做芯片调查时会把“最近一次工具链更新”时间记录下来长时间没动静的默认优先级降一档。3. 120多种芯片怎么分类五条主线盘点3.1 主线一云端训练与通用AI计算这一类的目标是训练大模型或做大规模数据中心的通用AI计算。选这类设备时最关注的不是单卡TOPS而是几个更细的点混合精度支持是否完善多卡互联的带宽是否够高集群扩展时的线性效率能到多少。训练任务要跑几天甚至几周单卡跑得快但互联拉胯的话多卡协同反而可能更慢。云端训练芯片通常配套的显存容量和带宽都比较高因为要喂给大规模数据并行和模型并行。选型上我建议重点看厂商提供的参考集群方案一个训练任务能扩展到多少卡扩展后性能损耗有多少这比单纯看“芯片A比芯片B快20%”更有参考意义。我调查到的很多云侧训练卡单卡性能都接近真正拉开差距的其实是可持续运行的稳定性和互联方案。3.2 主线二云端推理与专用加速云端推理芯片是当前市场最卷的赛道也是我调查表里数量最多的一类。这类芯片通常不追求绝对高精度计算而是追求单位功耗、单位成本下能跑多少路推理。关注指标主要是INT8或FP8性能、单路延迟、P99延迟、单卡并发路数以及每路成本。做推理选型时要避免一个误区不要只看整卡吞吐还要看单路延迟。有些芯片批量处理时吞吐很高但单路请求延迟过大实时交互场景根本没法用。另一个重点是动态形状支持也就是模型输入尺寸变化时的性能表现。很多推理芯片在固定shape下优化得很激进但实际业务里输入尺寸千变万化性能会明显下降。3.3 主线三端侧与边缘NPU端侧芯片和边缘盒子里出现的NPU是另一套逻辑。这类芯片通常部署在手机、摄像头、智能终端、边缘服务器上功耗预算非常紧张目标是以尽量低的功耗完成持续的AI处理。关注点主要是INT8能效比、内存带宽、工具链对模型结构和量化方案的支持程度。我做边缘选型时发现很多端侧NPU的实际表现比纸面参数低很多原因集中在两点。一是端侧芯片的内存带宽受限模型稍微大一点搬运权重的时间就远超计算时间算力根本吃不满。二是私有工具链支持的算子有限一旦网络结构里出现Unsupported算子整个模型就会被拆成CPU和NPU混合执行速度骤降。所以在端侧选型时最好拿自己的模型结构去适配先跑通再谈参数。3.4 主线四车规级AI芯片车规级芯片在调查表里单独列了一类因为它的决策逻辑完全不同。车规芯片需要满足车规级的可靠性与安全认证要求比如温度范围、抗震动、供货周期等。而且车端场景通常和低延迟相关比如自动泊车、辅助驾驶一次推理失败可能造成实际问题所以对确定性要求极高。车规级选型时不能只看算力还要看芯片是否有足够的供货冗余、是否支持锁步等功能安全机制、以及厂商是否有长期供货承诺。我之前调查过的某车规芯片平台性能中规中矩但胜在生态封闭且稳定目标场景适配度高最终比一堆高算力芯片更实用。这也侧面说明不同场景的“最佳芯片”差异巨大。3.5 主线五FPGA、自研ASIC与其他异质处理器120多种里面有不少芯片不是大家熟悉的GPU或NPU形态而是FPGA、自研ASIC、类脑芯片这类。这类芯片的特点是专用性极强在特定算子上可能特别快但通用性很差。FPGA的好处是逻辑可重配适合算法还在频繁迭代的项目ASIC则把效率和功耗压到极致但算法一换芯片可能直接报废。对这类芯片我的建议是先确定你的工作负载是否足够固定。如果模型结构一年内不会大变ASIC是不错的选择如果你的项目还处在快速试错阶段那FPGA或通用NPU反而更划算。不要被某个“特定算子表现特别快”的测试结果迷惑那只是整个系统里非常小的一段。4. 实操筛选流程与问题排查实录4.1 先画负载画像模型结构、精度、batch、并发、延迟目标我拿到一个选型任务不会先看芯片而是先画负载画像。模型结构是CNN还是Transformer主要算子是卷积、矩阵乘、归一化还是softmax模型权重多大激活量多大推理目标延迟是多少P99能不能接受需要支持多少路并发工作负载主要是单路大batch训练还是多路小batch推理这些问题都用一张表记录后面所有芯片参数都要往这张表上套。举个例子一个端侧视觉检测项目模型是CNN类输入分辨率固定要求端到端延迟30毫秒整机功耗不能超过3瓦。那么算力需求就能推算出来模型计算量约600M MACs延迟30毫秒折算出来约40GOPS加上冗余目标芯片至少要有60到80GOPS的实测INT8能力内存带宽要能支撑完整模型的权重搬运。这么一算很多看起来“足够”的芯片就会出局。4.2 用三条硬性约束做初筛预算、功耗、生态负载画像画完后下一步是用硬性约束过滤。120多种芯片不可能逐个实测这时候需要快速缩小范围。三条硬约束通常是预算上限功耗与散热条件软件生态可接受度。前两条好理解第三条经常被忽略吃过亏才知道。软件生态这条硬约束怎么设如果团队有一定移植能力可以把标准放到“工具链基本可用”如果是纯应用团队那标准直接设为“支持主流的模型转换方案且有大量案例可查”。先按这三条硬约束把120多种砍到二三十种再进入深度对比。这个阶段筛选效率最高因为这三条都是单一否决项一票就可以出局。4.3 实测环节测什么、怎么测、记录哪些数据初筛出二三十种之后不要急着下单先找可用的开发板或云实例做实测。实测要有统一的基准模型和基准数据不能只跑厂商自带的demo。我一般会准备三个测试负载一个小型分类模型、一个中型检测模型、一个偏大一些的Transformer模型覆盖不同计算特性。精度对齐后记录FPS和延迟还有功耗数据。实测过程中一个容易踩的坑是很多芯片只有在特定batch size下性能才好看比如厂商报告的批量处理吞吐是在batch 32甚至更大时测的而实际业务可能大多是batch 1。所以记录数据时要把batch size、输入分辨率、量化精度、是否开启编译优化这些变量全部固定下来。我习惯用一张统一的表格记录以下字段模型名、精度、batch、输入shape、平均延迟、P99延迟、吞吐、整卡功耗、温度、实测与理论峰值差距。4.4 常见问题速查表整个调查过程下来有几个高频问题值得单独列出来刚好也是选型时最容易翻车的点。症状常见原因排查方式同一芯片不同项目性能差异巨大算子组合不同量化方式不同内存搬运占比不同用自己的模型实测别移植厂商测试结论TOPS很高但大模型跑不动内存带宽不足内存容量不够算子支持有缺陷先看带宽和容量再看TOPS低功耗芯片部署后延迟抖动热降频、动态电源管理、Cache命中率不稳定长时间稳定性测试检查温度日志厂商评测数据很好看实测严重缩水评测用了理想shape和理想batch还做了静态量化按真实业务参数复测某个加速卡驱动更新后性能变化明显软件栈在快速迭代性能和稳定性未必同步固定驱动版本上线升级前先验证还有几个实践心得想分享。一是不要太迷信“跑分软件”的结果那些benchmark和自己业务重合度低的话参考意义有限。二是在对比多个芯片时最好用同一套转换工具、同一份模型权重、同一套测试脚本跑完再下结论。三是记录测量条件比记录结果更重要没有测量条件的数字只是无源之水。4.5 这次调查后我留下的几个筛选习惯这份调查做完了我也养成了几个固定习惯。拿到任何芯片参数先划掉峰值算力那栏改成记录“在目标模型、目标精度下的实测性能”不看内存容量先看内存带宽和模型权重的比例不单独看TDP而是结合整机供电和散热方案一起评估。120多种芯片列下来最后真正进入实测的不过20种左右进入决赛圈的可能就三五款但这三五款是经过完整逻辑链筛出来的用起来心里踏实。最后再分享一个我自己调整过的心态芯片选型调查不是一次性工作它是需要不断更新的数据库。这份表格从57种写到120多种几个月后可能又会变成150多种因为新品在出、老产品在退市工具链也在迭代。与其追求一次做完不如把它当成一个随时能拿出来重排的资产。只要我手里的模型负载没变这个资产就一直在帮我压缩选型决策的时间成本。