MediaPipe 多平台上手：从克隆仓库到首个实时手部跟踪 Demo

MediaPipe 多平台上手从克隆仓库到首个实时手部跟踪 Demo【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe在桌面端打开摄像头把手伸到镜头前21 个关键点连成的骨架线条实时跟着你的动作走——这是你用 MediaPipe 能搭出来的第一个效果。MediaPipe 是跨平台的实时媒体处理框架把人脸、手势、姿态、物体检测这些相机流任务变成一次 bazel 构建。读完这篇你能在本地构建并运行桌面实时手部跟踪 Demo并掌握 Android、iOS、Web、Python 四端的三步落地路径。先弄清 MediaPipe一套代码六种运行目标MediaPipe 做两层事一层是开箱即用的 Solutions比如手部跟踪、人脸网格直接调用即可一层是底层 Framework用 Packet、Graph、Calculator 三个基础概念拼接自定义推理管线。新手先玩 Solutions需要定制时再学 Framework。当前仓库里旧版 Legacy Solutions 已停止更新能力覆盖以 docs/solutions/solutions.md 的表格为准主要任务的平台支持如下任务AndroidiOSCPythonJSCoral人脸检测√√√√√√人脸网格√√√√√—手部关键点√√√√√—姿态√√√√√—自拍分割√√√√√—物体检测√√√——√Objectron3D 物体√—√√√√MediaPipe 桌面端 Demo三步跑通手部跟踪Linux 桌面是最快的上手路径macOS 同理只需三步。第 1 步装依赖、克隆仓库。先安装 Bazelisk它会自动选对 Bazel 版本再装 OpenCV 开发库sudo apt-get install -y libopencv-core-dev libopencv-highgui-dev \ libopencv-calib3d-dev libopencv-features2d-dev \ libopencv-imgproc-dev libopencv-video-dev克隆仓库并进入目录git clone --depth 1 https://gitcode.com/GitHub_Trending/med/mediapipe cd mediapipe第 2 步构建并运行手部跟踪 Demo。CPU 版无需任何额外配置GLOG_logtostderr1 bazel run --define MEDIAPIPE_DISABLE_GPU1 \ mediapipe/examples/desktop/hand_tracking:hand_tracking_cpu第 3 步验证结果。窗口打开后把摄像头对准手21 个关键点和连线应实时跟随。想更轻量地确认环境可用可以先跑 hello_world终端连续打印Hello World!即代表构建环境就绪GLOG_logtostderr1 bazel run --define MEDIAPIPE_DISABLE_GPU1 \ mediapipe/examples/desktop/hello_world:hello_world各平台完整说明docs/getting_started/install.md。按任务选子图一张表查模块不同任务对应不同的 Solution 和现成子图子图是一个描述推理管线的 pbtxt 文件不用你手写。先查表再翻对应文档想做什么对应模块子图/管线文档单手 21 关键点手部关键点HandLandmarkCpu / HandLandmarkGpudocs/solutions/hands.md多手检测跟踪手部关键点HandLandmarkTrackingCpu / TrackingGpudocs/solutions/hands.md人脸检测框人脸检测mediapipe/modules/face_detection/docs/solutions/face_detection.md468 点人脸网格人脸网格mediapipe/modules/face_landmark/docs/solutions/face_mesh.md全身 33 点姿态姿态关键点mediapipe/modules/pose_landmark/docs/solutions/pose.md背景抠图自拍分割mediapipe/modules/selfie_segmentation/docs/solutions/selfie_segmentation.md子图文件集中在 mediapipe/modules/ 下。自己写图时把 CPU 子图换成 GPU 子图是最直接的提速手段。其他平台落地Android、iOS、Web、Python 各三步Android先在仓库根目录执行./setup_android_sdk_and_ndk.sh装好 SDK/NDK再用--configandroid_arm64构建 APK例如 3D 物体检测示例bazel build -c opt --configandroid_arm64 \ mediapipe/examples/android/src/java/com/google/mediapipe/apps/objectdetectiongpu:objectdetectiongpu构建产物用 adb 安装到真机即可详见 docs/getting_started/android.md。iOS装好 Bazelisk 和 OpenCV 3 后用仓库自带的 Tulsi 工程 mediapipe/MediaPipe.tulsiproj/ 生成 Xcode 项目选定目标设备运行示例 App 在 mediapipe/examples/ios/文档见 docs/getting_started/ios.md。Web无需本地构建在 HTML 中引入对应 Solution 的 JS 库用getUserMedia取相机帧后逐帧送入推理即可接入方式见 docs/getting_started/javascript.md。Python通过 pip 安装 mediapipe 包后几行代码即可读帧、推理、拿到关键点结果见 docs/getting_started/python.md。排坑清单五个卡住构建的问题OpenCV 链接报错版本不匹配是主因官方推荐 OpenCV 3.x 至 4.1OpenCV 4 必须把 third_party/opencv_linux.BUILD 的头文件路径改成include/opencv4/。图省事可以直接跑仓库自带的./setup_opencv.sh从源码编译并自动改配置。macOS 构建卡在 glogbrew install opencv3之后执行brew uninstall --ignore-dependencies glog去掉冲突依赖。桌面 GPU 跑不起来Linux 纯 CPU 环境保留--define MEDIAPIPE_DISABLE_GPU1启用 GPU 需装 mesa EGL 开发包并追加编译参数bazel run --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 \ mediapipe/examples/desktop/hello_world:hello_world注意 macOS 桌面端不支持 GPU 推理只能走 CPU。Bazel 版本异常统一用 Bazelisk 管理 Bazel 版本不要手动固定某个 Bazel 发行版。推理偏慢把 CPU 子图换成 GPU 子图如 HandLandmarkCpu 换 HandLandmarkGpu或对 TFLite 模型做量化压缩基准测试方法见 docs/tools/performance_benchmarking.md。下一步方向与关键资源Demo 跑通后下一步是两条线一是学 Framework 的 Graph、Calculator、Packet 三个概念搭自己的推理管线概念文档在 docs/framework_concepts/framework_concepts.md二是用 Model Maker 拿自己的数据微调模型代码在 mediapipe/model_maker/。关键资源安装与环境配置docs/getting_started/install.md构建故障排查docs/getting_started/troubleshooting.md解决方案总表docs/solutions/solutions.md桌面端示例代码mediapipe/examples/desktop/性能基准测试指南docs/tools/performance_benchmarking.md【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考