← 返回博客 技术实践

从三周到两天:我们如何用 AI 把模型自动迁移到国产 NPU

模型从 GPU 迁到 NPU,最耗时的是算子适配、量化调精度和性能调优。素当信息把这三件事交给 AI 自动完成,开发者只需要给出模型和精度要求。

过去一年,我们交付的私有化项目里,有将近一半的客户提出了同一个要求:模型要跑在国产 NPU 上。

这个要求很合理。算力自主可控、采购成本、供货周期,都是企业实实在在要考虑的问题。但对开发团队来说,这往往意味着一段痛苦的经历:一个在 GPU 上跑得好好的模型,迁到 NPU 上要么转换报错,要么精度掉得厉害,要么速度远不如预期。我们自己的工程师也在这上面花了大量时间,一个中等规模的模型,从拿到芯片到稳定上线,常常要三周左右。

所以今年我们做了一件事:把模型迁移中最耗人力的环节,交给 AI 来完成。这篇文章介绍一下它的思路和目前的效果。

模型迁移到底难在哪

把一个标准模型(PyTorch 或 ONNX)部署到 NPU,大致要经过三道关。

第一关是算子适配。 每家 NPU 的工具链支持的算子集合都不一样。模型里只要有一个不支持的算子,转换就会失败。常见的做法是手工把它改写成几个支持的算子的组合,比如把某种归一化拆成均值、方差和逐元素运算。这需要既懂模型又懂芯片的人,一个个去查、去改、去验证。

第二关是量化。 NPU 的算力优势主要来自 INT8 甚至 INT4 计算,模型必须量化。但量化不是一键操作:哪些层可以放心压到 INT8,哪些层对精度敏感必须保留 FP16,校准数据怎么选,都会直接影响最终精度。很多团队在这一步反复试错,一调就是一两周。

第三关是性能调优。 模型能跑、精度也达标,不代表跑得快。算子融合策略、数据排布、内存切分方式,都会让同一个模型的速度相差好几倍。而这些参数的最优组合,在不同芯片上完全不同。

三道关加起来,每一步都依赖资深工程师的经验,也很难复用到下一个模型或下一款芯片上。

我们的做法:让 AI 走完这三道关

我们的思路是:开发者只描述“要什么”,AI 负责“怎么做”。 你提供原始模型、目标芯片和可接受的精度损失,剩下的交给迁移引擎。

整个流程分为四个阶段。

1. 统一表示与覆盖分析

模型导入后,首先被转换为我们内部的统一计算图表示。引擎会对照目标芯片的能力描述,逐个检查算子是否原生支持、形状是否满足约束,生成一份覆盖分析报告。

这一步就能告诉你:这个模型有多少算子可以直接映射,有多少需要改写,有没有目前无法处理的部分。在动手之前,你就知道这次迁移大概的难度。

2. AI 驱动的算子改写

对于不支持的算子,引擎会调用一个专门训练的改写智能体。它结合我们积累的改写规则库,为每个算子生成若干种等价的替代方案,比如用支持的基础算子重新组合,或者调整计算顺序以满足芯片的形状约束。

关键在于每一个改写都必须经过数值验证。引擎会用随机输入和真实样本分别运行改写前后的子图,比对输出误差,只有误差在阈值内的方案才会被采纳。AI 负责提出方案,严格的测试负责把关,两者缺一不可。

3. 自动混合精度量化

量化阶段,引擎先做逐层敏感度分析:依次把每一层量化,观察对最终输出的影响,找出对精度最敏感的那一小部分层。

然后它在你给定的精度预算内,自动搜索混合精度方案。大部分层压到 INT8,少数敏感层保留 FP16,在条件允许时部分层进一步尝试 INT4。校准数据也会自动从你提供的样本中挑选,尽量覆盖不同的数据分布,而不是随便取前几百条。

4. 性能自动调优

最后是性能。引擎会在算子融合方式、数据排布、内存切分等维度上自动搜索。为了避免在真机上做海量尝试,我们训练了一个代价模型来预估每种组合的耗时,先在模型上筛掉明显不好的方案,再把最有希望的几十个候选放到真实芯片上实测,选出最终配置。

实际用起来是什么样

对开发者来说,整个过程只需要一条命令和一个配置文件:

rp-port convert \
  --model ./ocr_det.onnx \
  --target npu-edge-a \
  --calib ./samples/ \
  --accuracy-budget 1.0%

运行结束后,你会得到可以直接部署的模型文件,以及一份迁移报告:

[analyze]   算子 214 个 · 原生支持 203 · 需改写 11 · 无法处理 0
[rewrite]   11/11 改写通过数值验证 · 最大相对误差 3.2e-4
[quantize]  INT8 层 187 · FP16 层 16 · 精度损失 0.6%(预算 1.0%)
[tune]      候选 1,284 · 真机实测 48 · 最优延迟 11.7 ms
[done]      产物已输出至 ./build/ocr_det.npu

如果精度预算达不到,报告会明确告诉你卡在哪几层,以及放宽多少预算能换来多少性能,方便你做取舍。

效果如何

下面是我们在内部项目中用三类典型模型做的对比,基线是工程师手工迁移的结果:

模型类型 手工迁移周期 自动迁移周期 精度损失 推理速度(相对手工版本)
文档 OCR 检测 + 识别 约 2 周 1 天 0.6% 1.1×
工业缺陷检测 约 3 周 2 天 0.8% 1.2×
7B 参数对话模型 约 4 周 3 天 1.4% 1.0×

最明显的变化是周期。过去需要资深工程师几周的工作,现在大部分时间是机器在跑,工程师只需要在关键节点确认结果。在推理速度上,自动搜索出的配置通常能达到甚至略好于手工调优的水平,因为它能尝试的组合远多于人工。

对我们的交付团队来说,最大的变化不是快了多少,而是不再依赖少数几位“懂芯片”的同事。一位普通的算法工程师,也能独立完成一次模型迁移。

目前的局限

这套引擎还不是万能的,有几点需要说清楚:

  • 高度定制的算子,比如某些研究型模型里自己手写的 CUDA 算子,自动改写的成功率还不高,往往仍需要人工介入。
  • 动态形状较多的模型,性能调优的效果会打折扣,因为很多优化依赖确定的输入尺寸。
  • 接入一款新芯片,需要先为它编写能力描述并积累改写规则,通常需要两周左右。目前我们已完成多款国产云端与端侧 NPU 的适配。

我们会持续扩充规则库和芯片支持,也欢迎有实际需求的团队和我们一起打磨。

写在最后

国产算力的普及,不应该以开发者的加班为代价。我们希望把模型迁移这件事,从“少数专家的手艺活”变成“人人都能完成的标准流程”。

这项能力已经集成在 Blaflow 私有化部署方案中。如果你的团队正在规划模型的国产化迁移,欢迎预约演示,我们可以用你的模型做一次免费的迁移评估。

想让 AI 智能体接手你的业务流程?

预约 30 分钟产品演示,看看 Blaflow 能为你的团队做什么。

预约演示