)
YOLO人体关键点检测Android端上部署YOLOv8-Pose YOLO11-Pose YOLO26-Pose(含源码支持CPU和GPU)目录YOLO人体关键点检测Android端上部署YOLOv8-Pose YOLO11-Pose YOLO26-Pose(含源码支持CPU和GPU)1. 前言2. 部署框架MNN3. 导出MNN模型4. Android端上部署模型1 版本说明2 JNI接口实现3 性能测试4 一些异常错误解决方法5. Android测试效果6. MNN C 部署模型7.项目源码下载1. 前言在边缘计算场景中模型部署的灵活性和性能是开发者最关注的两个核心问题。Ultralytics 系列模型凭借其出色的精度与速度平衡已成为目标检测领域的事实标准。而 MNNMobile Neural Network作为阿里巴巴开源的轻量级推理引擎 凭借其极小的体积和跨平台能力成为了移动端和嵌入式设备部署 YOLO 系列模型的理想选择。本文将深入探讨如何使用 MNN 的 C API 在Android手机上部署人体关键点检测模型如YOLOv8n-pose、YOLO11n-pose 以及最新的 YOLO26n-pose 模型并覆盖 CPU 与 GPUOpenCL两种推理后端。Android版本的YOLO模型推理支持CPU和GPU加速在GPU(OpenCL)加速下可以达到实时的检测效果CPU(4线程)约120ms左右GPU约45ms左右 基本满足业务的性能需求。下表给出人体关键点检测模型YOLOv8n-pose、YOLO11n-pose和YOLO26n-pose模型在Android端上使用MNN部署的性能测试(含图像预处理模型推理后处理等)开启GPU(OpenCL)加速可以达到准实时的检测效果。如果你想进一步提升性能可以将模型输入分辨率640×640改为416×416。模型input-sizeparams(M)CPU(4线程)GPU(OpenCL)YOLOv8n-pose640×6403.15M88ms51msYOLO11n-pose640×6402.62M85ms50msYOLO26n-pose640×6402.41M82ms45ms先展示一下Android Demo检测的效果Android APP Demo体验https://download.csdn.net/download/guyuealian/93484113【尊重原创转载请注明出处】https://blog.csdn.net/guyuealian/article/details/1662512412. 部署框架MNNGitHubhttps://github.com/alibaba/MNNMNN 是阿里巴巴集团开源的轻量级深度学习推理框架旨在为移动端、嵌入式设备提供高效的模型部署能力。它已在**宝、**猫、钉钉等 30 多个阿里系应用中大规模使用每天运行数百万次推理。MNN 支持 TensorFlow、Caffe、ONNX 等主流模型格式转换兼容 CNN、RNN、GAN、Transformer 等常见网络结构并针对 CPU、GPU、NPU 等硬件后端进行了深度优化。 在 CPU 端MNN 不依赖第三方计算库通过手写汇编、Winograd 卷积、多线程调度和内存复用等方式充分发挥 ARM CPU 算力在 GPU 端它支持 OpenCL、Vulkan、Metal、CUDA 等多种加速后端其中 Android 平台可使用 OpenCL/VulkaniOS/macOS 平台可使用 MetalPC/服务器端还可使用 CUDA。 对于需要更高性能的场景开启 GPU 加速后推理速度通常可提升数倍部分机型甚至可获得更明显的加速效果。此外MNN 还支持 INT4/INT8/FP16 等低精度量化、算子融合、图优化和异构计算能够在保持模型精度的同时显著降低推理延迟和内存占用。 结合其轻量的库体积、完善的 Python/C API 以及跨平台部署能力MNN 非常适合作为本项目 Android 端推理后端。3. 导出MNN模型在开始 C 部署之前首先需要将训练好的 PyTorch 模型导出为 MNN 格式。Ultralytics 提供了便捷的导出接口支持 FP32、FP16 和 INT8 三种精度。以 YOLO26n-pose 为例导出命令如下需要安装依赖库 pip install onnx onnxsim onnxruntime mnnfrom ultralytics import YOLO # 加载模型 model YOLO(yolo26n-pose.pt) # 导出为 MNN 格式默认 FP32 model.export(formatmnn) # 或者导出 FP16 量化版本 model.export(formatmnn, halfTrue) # 或者导出 INT8 量化版本 model.export(formatmnn, int8True)对于 YOLOv8 和 YOLO11导出方式完全一致只需替换对应的.pt模型文件即可导出的*.mnn文件包含了模型结构和权重。4. Android端上部署模型1 版本说明Android Studio开发版本请参考Android项目常见问题解决办法2 JNI接口实现Android Demo源码支持YOLOv8n-pose、 YOLO11n-pose以及YOLO26n-pose等模型。部署框架采用MNN支持多线程CPU和GPU加速推理在普通手机上可以实时处理。Android源码核心算法部分均采用C实现上层通过JNI接口调用。package com.cv.dl.model; import android.graphics.Bitmap; public class Detector { static { System.loadLibrary(cvdl-lib); } /*** * 初始化检测模型 * param root模型文件的根目录放在assets文件夹下 * param det_model 检测模型 * param rec_model 识别模型(可选) * param model_type模型类型 * param num_thread开启线程数 * param useGPU是否开启GPU进行加速 */ public static native void init(String root, String det_model, String rec_model, int model_type, int num_thread, boolean useGPU); /*** * 进行检测(用于静态图) * param bitmap 图像bitmapARGB_8888格式 * param score_thresh置信度阈值 * param iou_thresh IOU阈值 * return */ public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh); }如果你想在这个Android Demo部署你自己训练的YOLO模型你可将训练好的Pytorch模型转换成MNN模型然后把MNN模型代替你模型即可。3 性能测试下表给出人体关键点检测模型YOLOv8n-pose、YOLO11n-pose和YOLO26n-pose模型在Android端上使用MNN部署的性能测试(含图像预处理模型推理后处理等)开启GPU(OpenCL)加速可以达到准实时的检测效果。如果你想进一步提升性能可以将模型输入分辨率640×640改为416×416。模型input-sizeparams(M)CPU(4线程)GPU(OpenCL)YOLOv8n-pose640×6403.15M88ms51msYOLO11n-pose640×6402.62M85ms50msYOLO26n-pose640×6402.41M82ms45ms4 一些异常错误解决方法项目开发常见的问题请参考Android项目常见问题解决办法5. Android测试效果Android APP Demo体验https://download.csdn.net/download/guyuealian/93484113APP在普通Android手机上可以达到实时的效果CPU(4线程)约120ms左右GPU约50ms左右 基本满足业务的性能需求。如果你想进一步提升性能可以将模型输入分辨率640×640改为416×416。6. MNN C 部署模型如果你需要使用MNN C部署YOLOv8n-pose、YOLO11n-pose和YOLO26n-pose等模型请参考https://panjinquan.blog.csdn.net/article/details/1662478557.项目源码下载【Android APP体验】https://download.csdn.net/download/guyuealian/93441570如需下载项目源码WX请关注【AI吃大瓜】回复【yolopose】即可下载Android项目源码内容包含项目MNN Android源码支持人体关键点检测模型如YOLOv8n-pose / YOLO11n-pose / YOLO26n-pose模型推理。你可以根据自己需要更改模型文件(model_file)和修改模型参数配置(YOLOParam)Android Demo源码支持CPU和GPU运行CPU(4线程)YOLO26n 约120ms左右GPU OpenCL约45ms左右。如果你想进一步提升性能可以将模型输入分辨率640×640改为416×416。Android Demo支持图片视频摄像头测试OpenCVbase-utilsMNN所有依赖库都已经配置好可直接build构建APP运行
