从三周到两天:我们如何用 AI 把模型自动迁移到国产 NPU
模型从 GPU 迁到 NPU,最耗时的是算子适配、量化调精度和性能调优。素当信息把这三件事交给 AI 自动完成,开发者只需要给出模型和精度要求。
过去一年,我们交付的私有化项目里,有将近一半的客户提出了同一个要求:模型要跑在国产 NPU 上。
这个要求很合理。算力自主可控、采购成本、供货周期,都是企业实实在在要考虑的问题。但对开发团队来说,这往往意味着一段痛苦的经历:一个在 GPU 上跑得好好的模型,迁到 NPU 上要么转换报错,要么精度掉得厉害,要么速度远不如预期。我们自己的工程师也在这上面花了大量时间,一个中等规模的模型,从拿到芯片到稳定上线,常常要三周左右。
所以今年我们做了一件事:把模型迁移中最耗人力的环节,交给 AI 来完成。这篇文章介绍一下它的思路和目前的效果。
模型迁移到底难在哪
把一个标准模型(PyTorch 或 ONNX)部署到 NPU,大致要经过三道关。
第一关是算子适配。 每家 NPU 的工具链支持的算子集合都不一样。模型里只要有一个不支持的算子,转换就会失败。常见的做法是手工把它改写成几个支持的算子的组合,比如把某种归一化拆成均值、方差和逐元素运算。这需要既懂模型又懂芯片的人,一个个去查、去改、去验证。
第二关是量化。 NPU 的算力优势主要来自 INT8 甚至 INT4 计算,模型必须量化。但量化不是一键操作:哪些层可以放心压到 INT8,哪些层对精度敏感必须保留 FP16,校准数据怎么选,都会直接影响最终精度。很多团队在这一步反复试错,一调就是一两周。
第三关是性能调优。 模型能跑、精度也达标,不代表跑得快。算子融合策略、数据排布、内存切分方式,都会让同一个模型的速度相差好几倍。而这些参数的最优组合,在不同芯片上完全不同。
三道关加起来,每一步都依赖资深工程师的经验,也很难复用到下一个模型或下一款芯片上。
我们的做法:让 AI 走完这三道关
我们的思路是:开发者只描述“要什么”,AI 负责“怎么做”。 你提供原始模型、目标芯片和可接受的精度损失,剩下的交给迁移引擎。
整个流程分为四个阶段。
1. 统一表示与覆盖分析
模型导入后,首先被转换为我们内部的统一计算图表示。引擎会对照目标芯片的能力描述,逐个检查算子是否原生支持、形状是否满足约束,生成一份覆盖分析报告。
这一步就能告诉你:这个模型有多少算子可以直接映射,有多少需要改写,有没有目前无法处理的部分。在动手之前,你就知道这次迁移大概的难度。
2. AI 驱动的算子改写
对于不支持的算子,引擎会调用一个专门训练的改写智能体。它结合我们积累的改写规则库,为每个算子生成若干种等价的替代方案,比如用支持的基础算子重新组合,或者调整计算顺序以满足芯片的形状约束。
关键在于每一个改写都必须经过数值验证。引擎会用随机输入和真实样本分别运行改写前后的子图,比对输出误差,只有误差在阈值内的方案才会被采纳。AI 负责提出方案,严格的测试负责把关,两者缺一不可。
3. 自动混合精度量化
量化阶段,引擎先做逐层敏感度分析:依次把每一层量化,观察对最终输出的影响,找出对精度最敏感的那一小部分层。
然后它在你给定的精度预算内,自动搜索混合精度方案。大部分层压到 INT8,少数敏感层保留 FP16,在条件允许时部分层进一步尝试 INT4。校准数据也会自动从你提供的样本中挑选,尽量覆盖不同的数据分布,而不是随便取前几百条。
4. 性能自动调优
最后是性能。引擎会在算子融合方式、数据排布、内存切分等维度上自动搜索。为了避免在真机上做海量尝试,我们训练了一个代价模型来预估每种组合的耗时,先在模型上筛掉明显不好的方案,再把最有希望的几十个候选放到真实芯片上实测,选出最终配置。
实际用起来是什么样
对开发者来说,整个过程只需要一条命令和一个配置文件:
rp-port convert \
--model ./ocr_det.onnx \
--target npu-edge-a \
--calib ./samples/ \
--accuracy-budget 1.0%
运行结束后,你会得到可以直接部署的模型文件,以及一份迁移报告:
[analyze] 算子 214 个 · 原生支持 203 · 需改写 11 · 无法处理 0
[rewrite] 11/11 改写通过数值验证 · 最大相对误差 3.2e-4
[quantize] INT8 层 187 · FP16 层 16 · 精度损失 0.6%(预算 1.0%)
[tune] 候选 1,284 · 真机实测 48 · 最优延迟 11.7 ms
[done] 产物已输出至 ./build/ocr_det.npu
如果精度预算达不到,报告会明确告诉你卡在哪几层,以及放宽多少预算能换来多少性能,方便你做取舍。
效果如何
下面是我们在内部项目中用三类典型模型做的对比,基线是工程师手工迁移的结果:
| 模型类型 | 手工迁移周期 | 自动迁移周期 | 精度损失 | 推理速度(相对手工版本) |
|---|---|---|---|---|
| 文档 OCR 检测 + 识别 | 约 2 周 | 1 天 | 0.6% | 1.1× |
| 工业缺陷检测 | 约 3 周 | 2 天 | 0.8% | 1.2× |
| 7B 参数对话模型 | 约 4 周 | 3 天 | 1.4% | 1.0× |
最明显的变化是周期。过去需要资深工程师几周的工作,现在大部分时间是机器在跑,工程师只需要在关键节点确认结果。在推理速度上,自动搜索出的配置通常能达到甚至略好于手工调优的水平,因为它能尝试的组合远多于人工。
对我们的交付团队来说,最大的变化不是快了多少,而是不再依赖少数几位“懂芯片”的同事。一位普通的算法工程师,也能独立完成一次模型迁移。
目前的局限
这套引擎还不是万能的,有几点需要说清楚:
- 高度定制的算子,比如某些研究型模型里自己手写的 CUDA 算子,自动改写的成功率还不高,往往仍需要人工介入。
- 动态形状较多的模型,性能调优的效果会打折扣,因为很多优化依赖确定的输入尺寸。
- 接入一款新芯片,需要先为它编写能力描述并积累改写规则,通常需要两周左右。目前我们已完成多款国产云端与端侧 NPU 的适配。
我们会持续扩充规则库和芯片支持,也欢迎有实际需求的团队和我们一起打磨。
写在最后
国产算力的普及,不应该以开发者的加班为代价。我们希望把模型迁移这件事,从“少数专家的手艺活”变成“人人都能完成的标准流程”。
这项能力已经集成在 Blaflow 私有化部署方案中。如果你的团队正在规划模型的国产化迁移,欢迎预约演示,我们可以用你的模型做一次免费的迁移评估。