文章目录前言为什么要端侧 AI文本生成本地对话/补全代码实现图像识别本地分类/检测核心代码端侧 AI 的实操注意常见误区小白必踩完整可运行示例端侧文本生成完整示例写在最后前言AI不一定是调云端大模型。HarmonyOS7 强化了端侧 AI——模型跑在手机本地不上传数据、不依赖网络、响应快、还保护隐私。这篇文章带你入门端侧 AI 的两类常见能力文本生成本地小模型对话和图像识别本地分类/检测。了解它们怎么接入、适合什么场景。为什么要端侧 AI维度云端 AI端侧 AI网络依赖必须联网可离线延迟受网络影响低隐私数据出端数据不出设备成本按调用计费一次部署结论涉及隐私、要离线、要低延迟、高频调用的优先考虑端侧。复杂推理、知识广的再上云端大模型。文本生成本地对话/补全端侧文本能力通常通过Core AI或具体的 NLP Kit 接口加载本地小模型做生成/补全代码实现import{textGeneration}fromkit.MindSporeLiteKit// 示意包名以官方为准asyncfunctionlocalChat(prompt:string):Promisestring{// 1. 加载本地模型通常随 app 打包或从市场下载constmodelawaitloadLocalModel(llm_tiny.ms)// 2. 推理生成constresultawaitmodel.predict(prompt)returnresultasstring}要点概念层面模型文件随 app 提供或首次使用时下载到本地。推理在设备 NPU/CPU 上跑数据不离开手机。适合短文生成、补全、翻译、摘要这类轻任务。注意具体 API 包名和调用随版本演进以官方最新文档为准核心思路加载本地模型 → 推理不变。图像识别本地分类/检测图像类任务识物、扫码、场景识别端侧很成熟核心代码import{imageClassification}fromkit.VisionKit// 示意以官方为准asyncfunctionrecognize(img:image.PixelMap):Promisestring[]{constmodelawaitloadClassifier(mobilenet.ms)constlabelsawaitmodel.classify(img)// 返回类别标签returnlabels}端侧图像模型如 MobileNet体积小、速度快适合实时识物。数据不出设备做相册智能分类扫码识别很合适。端侧 AI 的实操注意模型体积端侧模型要小几百 MB 还行GB 级就别想了除非用动态下载。首次加载耗时模型加载要时间做成预加载或 loading 提示。功耗持续推理会发热耗电别在后台疯狂跑。降级策略端侧搞不定的复杂任务回退到云端。常见误区小白必踩误区说明模型过大端侧模型要小GB 级别想都别想除非动态下载且用户接受等待。首次加载无提示模型加载要时间做成预加载或 loading 提示不然以为卡死。后台狂跑推理持续推理发热耗电别在后台疯狂跑。无降级策略端侧搞不定的复杂任务要能回退云端。下面这段代码可以直接复制到 DevEco Studio 里运行。建议你边读边敲改一改文末「动手改一改」里的参数亲眼看看效果。完整可运行示例端侧文本生成调用端侧 AI 能力做本地推理无需联网。完整示例// 端侧 AI本地文本生成示意 APIimport{textGeneration}fromkit.MindSporeLiteKit// 以实际 SDK 为准EntryComponentstruct OnDeviceAI{Stateout:string点击生成build(){Column({space:16}){Text(this.out).fontSize(16)Button(本地生成一句话).onClick(async(){// 真实项目替换为对应 SDK 的推理调用constrawaittextGeneration.generate(写一句问候语)this.outr??生成完成端侧})}.padding(20)}}你会看到什么点按钮模型在设备本地完成推理并返回结果不依赖云端隐私更好、响应更快。动手改一改把模型换成图像分类体验端侧识别。给生成加 loading 态推理期间禁用按钮。用Native接口加载量化模型减小体积、提速。写在最后端侧 AI 是隐私 离线 低延迟的杀手锏适合轻量文本生成和图像识别这类任务。套路就两步加载本地模型 → 本地推理数据全程不出设备。想练手从本地图像分类做起最直观拍张照手机本地告诉你是什么——不用联网、不泄隐私用户体验还很未来感。复杂需求再考虑接入云端大模型。