云端 AI 是香但用户的流量和隐私不答应现在做应用不提两句 AI 都不好意思跟人打招呼。做个相册应用想搞个“老照片修复”图像超分做个笔记应用想搞个“以文搜图”。很多同学第一反应就是调云端 API 啊把图片传上去云端算完返回多简单。确实简单但有两个致命问题第一费流量还慢。用户网络稍微差一点图就转圈圈出不来。第二隐私风险。用户的私人照片你随便往云端传审核这关你过得去吗用户知道了不骂你所以端侧 AI把模型跑在手机本地才是终极解法。但这玩意儿门槛高NPU 适配、内存爆炸、发热降频哪个都能让新手开发者在深夜抓狂。这篇就聊聊怎么在 HarmonyOS 7 上初步落地端侧 AI 的图片超分和文搜图代码和踩坑点都给你备好了。https://placeholder-01.jpg/一、端侧 AI 基础别上来就写业务先搞懂框架HarmonyOS 提供了端侧 AI 的底层能力最核心的是ohos.ai.neuralNetwork神经网络推理框架。它支持把 ONNX、MindSpore Lite 等格式的模型转成能在设备上跑的.ms模型。但在动手之前你必须接受一个现实手机不是服务器算力和内存有限。几十兆甚至上百兆的大模型直接塞进去应用大概率直接闪退。正确的思路是模型量化与剪枝。把 FP32 降成 FP16 甚至 INT8精度掉一点点但速度和内存占用能降一半以上。加载模型的代码大概长这样typescriptimport neuralNetwork from ohos.ai.neuralNetwork; async function loadModel(context: Context) { // 从 rawfile 或沙箱加载模型 const modelBuffer await context.resourceManager.getRawFileContent(super_resolution.ms); const modelConfig: neuralNetwork.ModelConfig { modelBuffer: modelBuffer.buffer, deviceType: neuralNetwork.DeviceType.NPU, // 优先走 NPU isQuantized: true // 开启量化 }; const model await neuralNetwork.createModel(modelConfig); return model; }坑来了DeviceType.NPU不是所有机型都支持的。有些老机型或者低端机型没有 NPU你硬指定 NPU创建模型直接报错。正确的做法是做一个降级策略先试 NPU失败了再切到 CPUDeviceType.CPU。二、图像超分实战解码、推理、编码图像超分的核心流程分三步图片解码 - 模型推理 - 图片编码。先解码typescriptimport image from ohos.multimedia.image; async function decodeImage(context: Context, uri: string): Promiseimage.PixelMap { const file fs.openSync(uri, fs.OpenMode.READ_ONLY); const imageSource image.createImageSource(file.fd); const pixelMap await imageSource.createPixelMap({ desiredPixelFormat: image.PixelMapFormat.RGBA_8888 }); fs.closeSync(file); return pixelMap; }然后推理。模型输入通常是一个 Tensor你要把 PixelMap 转成Float32Arraytypescriptasync function runSuperResolution(model: neuralNetwork.Model, pixelMap: image.PixelMap) { const readBuffer new ArrayBuffer(pixelMap.getPixelBytesNumber()); await pixelMap.readPixelsToBuffer(readBuffer); // 归一化并转换成 Float32Array (取决于你的模型输入要求) const inputData new Float32Array(readBuffer); const inputs: neuralNetwork.Tensor[] [{ name: input, data: inputData, shape: [1, 3, 224, 224], // 模型的输入 shape dataType: neuralNetwork.DataType.FLOAT32 }]; const outputs await model.predict(inputs); return outputs; }这里有个巨大的性能坑不要在 UI 主线程做推理端侧推理耗时少则几百毫秒多则几秒。你在主线程跑页面直接卡死系统直接弹 ANR应用无响应。必须用TaskPool或者Worker把推理逻辑放到后台线程。typescriptimport taskpool from ohos.taskpool; Concurrent function doInference(modelPath: string, imageBuffer: ArrayBuffer): ArrayBuffer { // 在子线程里加载模型和推理 // ... return resultBuffer; } // 主线程调用 const task new taskpool.Task(doInference, modelPath, readBuffer); taskpool.execute(task).then((result: ArrayBuffer) { // 拿到结果更新 UI });三、文搜图初探别硬扛大模型“文搜图”听起来很科幻其实就是跨模态检索。简单来说就是把你输入的文本和库里的图片都转成“特征向量”然后计算它们之间的相似度余弦相似度。云端通常用 CLIP 模型但那个模型太大了手机端直接跑不现实。端侧的简化方案有两种轻量化模型用 MobileCLIP 这种专门为移动端设计的模型。本地标签OCR先用 OCR 把图片里的字提取出来然后做文本匹配。这种方法虽然“笨”但在相册搜发票、搜PPT截图这种场景下极其管用而且几乎不耗算力。如果用轻量化模型流程大概是typescript// 1. 文本侧提取文本特征 const textFeature await textEncoder.encode(一只在草地上奔跑的狗); // 2. 图像侧提取图像特征需要遍历相册计算量极大 const imageFeature await imageEncoder.encode(pixelMap); // 3. 计算余弦相似度 function cosineSimilarity(vecA: Float32Array, vecB: Float32Array): number { let dot 0, normA 0, normB 0; for (let i 0; i vecA.length; i) { dot vecA[i] * vecB[i]; normA vecA[i] * vecA[i]; normB vecB[i] * vecB[i]; } return dot / (Math.sqrt(normA) * Math.sqrt(normB)); }坑来了相册几万张图你遍历一遍算特征手机直接可以煎鸡蛋了。正确的做法是离线预处理。当用户新拍一张照片时或者在手机充电且空闲时后台批量提取特征向量存到数据库里。用户搜图的时候只搜文本特征然后去数据库里做向量检索可以用 HNSW 等算法加速这样响应速度才能做到毫秒级。https://placeholder-02.png/四、那些让你手机变砖的坑坑一内存溢出OOM。处理高分辨率照片时比如 4000x3000一次解码就可能占用几十兆内存。再加上模型推理的中间张量内存直接爆炸。解法推理前先下采样缩放到一个合理的尺寸比如 512x512推理完再放大回去。坑二发热降频。端侧 AI 是耗电大户尤其是持续调用 NPU 的时候。跑个几分钟手机烫得能煎蛋系统为了保护硬件会强制降频你的应用瞬间卡成幻灯片。解法必须做限流。不要同时处理多张图一张一张来。处理完一批让系统歇一会儿。坑三模型文件太大包体积爆炸。一个超分模型动辄 50MB放进去用户安装包直接变大。解法不要把模型打包进 HAP。第一次启动时从服务器按需下载模型到沙箱。或者用动态特性Dynamic Feature按需分发。https://placeholder-03.png/五、总结端侧 AI 是块硬骨头但啃下来就是你的核心竞争力。核心记住三点模型一定要量化NPU 不是万能的做好降级策略。推理必须放子线程TaskPool/Worker别在主线程硬扛。文搜图先做预处理别在用户搜索时实时遍历相册。
