MediaPipe Hands：实时追踪 21 个手部关键点，3 分钟跑起来

MediaPipe Hands实时追踪 21 个手部关键点3 分钟跑起来【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe把手伸到摄像头前画面上立刻标出 21 个点手腕 1 个每根手指 4 个指尖和关节一个不落。手快速转动时这些点也牢牢跟着指尖走不跳帧。这就是 MediaPipe Hands——一张图输入就能算出手上全部关键点的 3D 坐标同时最多追两只手还告诉你哪只是左手、哪只是右手。它能帮你做什么实时标出手部 21 个 3D 关键点。给它一帧 RGB 图像拿回三样东西每只手 21 个归一化坐标、以手掌几何中心为原点的 3D 坐标单位是米、左右手判定。有了指尖坐标算一下相邻关节的夹角石头、剪刀、布就能区分出来。原理是两级流水线先由手掌检测模型框出手部区域关键点模型只处理裁剪出来的小图所以手机上也跑得动实时帧率。双手同框、遮挡不掉线。max_num_hands默认就是 2。握手、手指挡住掌心这类情况它用上一帧的关键点继续追踪只有彻底跟丢了才退回全图手掌检测重新定位不会每帧都从头找。能训你自己的手势模型。仓库自带 Model Maker 的 gesture_recognizer 模块按手势分类收集几十张样例图就能在关键点之上再训一个分类器识别你的私域手势。人脸、姿态等其他模块也都能按同样的方式拼进你的方案里。快速上手三步跑起来Python 包自带预编译依赖不用自己编译 Cpip install mediapipe核心调用就三行import mediapipe as mp hands mp.solutions.hands.Hands() results hands.process(rgb_image)results里有multi_hand_landmarks每只手 21 个归一化坐标、multi_hand_world_landmarks3D 米制坐标、multi_handedness左右手。一个小坑用前置摄像头时记得先水平翻转图像cv2.flip(image, 1)否则左右手判定会反过来——API 默认按自拍镜像图计算。适合谁 / 典型场景如果你想做手势控制 PPT、游戏或虚拟键盘它把指尖在哪一步做完了你只需要在上面写手势 → 动作的映射规则。如果你在碰手语识别或 AR 交互3D 坐标带单位是米直接能算关节角度两只手同框也分得清不会互相串。如果你想训一个只认自己手势口令手势、自定义交互的分类器从 gesture_recognizer 起步按手势收图、训练、导出一条龙都在仓库里。下一步去哪儿Hands 官方文档含 API 参数说明docs/solutions/hands.mdPython 方案封装21 个关键点全在HandLandmark枚举里mediapipe/python/solutions/hands.py手机端手部跟踪的图定义贴进 MediaPipe Visualizer 能直接看流水线mediapipe/graphs/hand_tracking/hand_tracking_mobile.pbtxt训练自定义手势模型mediapipe/model_maker/python/vision/gesture_recognizer/先让这 21 个点跟住你的手再想拿这些点做什么——这是从想玩下手势到有份能跑的代码最省时间的路径。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考