从算法优化到芯片原生加速:星凡智能如何提升物理AI计算效率

📅 2026/7/16 3:51:59
从算法优化到芯片原生加速:星凡智能如何提升物理AI计算效率
AI正在进入真实世界但落地并不容易。算力贵、显存高、功耗大、硬件成本居高不下。面对这些问题星凡智能没有将技术路线局限于通用算力扩展而是围绕具身智能体任务特点推进算法、推理引擎、芯片架构与系统产品协同优化让有限的硬件资源释放出更高的计算效率。前期星凡智能已与西安交通大学自主系统与智能芯片研究团队达成深度产学研战略合作由国家级高层次人才孙宏滨教授领衔的教授及博士团队将与星凡智能共同攻克片上自学习AI芯片难题。一、算法先行混合精度量化精度近乎无损星凡智能的算法能力是芯片架构设计与系统优化的重要基础。前沿推理优化技术1. 混合精度量化智能体基座模型的参数量动辄几百亿、上千亿存储这么多参数的显存成了第一道坎。但我们不搞“一刀切”。而是基于对权重重要性的深度洞察采用多种数据精度去量化模型。关键权重采用高精数据格式保存非关键权重采用低精度数据格式保存。部署体积最高减少85%硬件成本节约50%精度几乎无损。2. 稀疏化优化不干“无用功”而是基于权重重要性分析自动识别并跳过低贡献权重来减少计算量。原生支持2:4、1:4稀疏比。减少无效计算提升单位算力利用率。算得更快能耗更低。3. 低比特量化优化权重INT2/INT3/INT4的量化精度意味着面向推理场景在保证模型性能的前提下能够用更少的功耗和硬件资源让智能体高效运行。4. 自研推理引擎光有模型还不够推理引擎得跟上。星凡智能自研的推理引擎专门为混合精度量化模型优化。支持1~8bit混合精度软硬件协同调度。具体效果如何以DeepSeek-V2-Coder 236B稀疏版模型测试为例输入长度设置为512 token采用星凡智能推理引擎的8×RTX 4090平台与8×H20开源方案参考平台进行对比。前者硬件采购成本约为后者的18%。测试结果显示在batch 1—32的不同并发条件下8×RTX 4090平台的生成吞吐达到8×H20参考平台的74%—120%。其中batch 1—4时生成吞吐高出约10%—20%batch 8时基本持平batch 16和batch 32时分别达到参考平台的89%和74%。这意味着星凡智能推理引擎能够让成本更可控的硬件平台获得接近、持平甚至在部分低并发场景超过H20参考平台的生成吞吐为大模型本地化部署提供更具成本效率的选择。物理AI落地的门槛被进一步拉低。片上低资源学习在与西安交通大学自主系统与智能芯片研究团队的联合研发中引入无知识遗忘训练与低资源消耗训练技术攻克训推计算成本高、归一化层瓶颈、稀疏模式不一致等核心难题即使在受限算力、存储和功耗条件下仍然能持续提升模型能力。经测试浮点运算量减少40%EMA成本降低39%。具身智能体能力闭环基于综合性知识论构建的具身智能体可在运行过程中实现自主采集数据、自监督训练、能力自提升该框架支持千亿级参数的基座模型。大模型稀疏化与定制化芯片关键技术研究与应用的科技成果获评国际先进星凡智能自主开发的Text2SQL技术也在全球打榜中交出了成绩单精度全球第9效率全球第8。相关技术的论文收录在了全球自然语言处理三大顶会之一的ACL里。顶会认可 榜单验证这是星凡智能技术领先性的有力佐证。二、自研芯片技术接力硬件原生加速算法能力足够强之后如果仍完全依赖通用芯片运行依然需要经过软件调度、数据搬运、指令转换等环节每一步都可能带来功耗和延迟。星凡智能的做法是什么呢把算法“刻”进电路里。不是简单堆叠核心而是围绕物理AI推理任务让不同计算单元承担更适配的工作。异构多核芯片架构构建起面向物理AI的异构多核大算力并行芯片架构将算法技术在芯片电路层面原生实现面向量化、稀疏、自学习训练等关键算法提供硬件级原生加速。1. 混合精度量化硬件原生集成芯片内部直接集成INT2/3/6计算单元。减少软件调度开销降低计算延迟和功耗。2. 混合稀疏硬件加速原生支持2:4、1:4稀疏比。显存带宽占用减少数据搬运能耗大幅降低。3. 自学习训练硬件化硬件原生集成梯度计算与非结构化参数更新电路支撑片上低功耗、低显存的本地在线优化。大算力并行计算能力通过高速并行总线实现多核协同调度与高吞吐计算显著提升推理效率。INT8可达280T算力综合等效算力超420T。片上自学习训练单元在与西安交通大学自主系统与智能芯片研发团队的联合研发中基于硬件非结构化参数更新技术支撑低功耗、低显存训练能力赋予设备持续学习与能力进化基础实现等效面积效率41.2 GOPS/mm²等效能量效率90.63 TOPS/W从算法优化到芯片架构从推理引擎到系统产品星凡智能正在把高效推理、低功耗部署和持续学习的能力沉淀为可落地、可复制、可规模化的芯片能力。未来星凡智能将继续以自研物理AI芯片为核心以真实世界数据飞轮为关键支撑构建覆盖芯片、算法、数据与场景的核心能力体系。面向具身智能、太空计算、Token工厂、低空经济等战略场景为物理AI进入真实世界提供高效、可靠的算力基座。