人工智能大模型低代码计算机视觉深度学习NLP模型推理服务RAG【免费下载链接】PaddleXAll-in-One Development Tool based on PaddlePaddle项目地址https://gitcode.com/paddlepaddle/PaddleX点击查看免费下载人体关键点检测是计算机视觉的重要任务通过定位人体关键点实现姿态估计、动作识别与人机交互。本文以飞桨 PaddleX 中的人体关键点检测模块keypoint_detection为核心完整讲解 PP-TinyPose 系列模型的推理集成、结果解析、数据集校验、模型训练、评估与产线部署全流程并深入剖析TopDown关键点检测方案的底层实现原理帮助你在实际项目中快速落地人体姿态估计能力。一、人体关键点检测任务与两种主流算法方案人体关键点检测旨在识别图像或视频中人体的特定关键点位置。通过检测这些关键点可以实现姿态估计、动作识别、人机交互、动画生成等多种应用在增强现实、虚拟现实、运动捕捉等领域都有广泛的应用。关键点检测算法主要包括Top-Down和Bottom-Up两种方案Top-Down 方案通常依赖一个目标检测算法识别出感兴趣物体的边界框关键点检测模型的输入为经过裁剪的单个目标输出为这个目标的关键点预测结果。该方案的准确率更高但速度会随着对象数量的增加而变慢。Bottom-Up 方案不依赖先进行目标检测而是直接对整个图像进行关键点检测然后对这些点进行分组或连接以形成多个姿势实例。其速度固定不会随着物体数量的增加而变慢但精度会更低。PaddleX 人体关键点检测模块目前提供的是PP-TinyPose模型采用 Top-Down 方案是百度飞桨视觉团队自研的、针对移动端设备优化的实时关键点检测模型可流畅地在移动端设备上执行多人姿态估计任务。从仓库源码看该模块的推理核心位于 inference/models/keypoint_detection/predictor.py 中的KptPredictor类它继承自目标检测的DetPredictor体现了 Top-Down 方案先检测、再裁剪关键点估计的天然依赖关系。模型清单在 modules/keypoint_detection/model_list.py 中定义MODELS [PP-TinyPose_128x96, PP-TinyPose_256x192]二、支持模型列表与性能表现PaddleX 人体关键点检测模块支持以下模型模型模型下载链接方案输入尺寸AP(0.5:0.95)GPU推理耗时ms[常规模式 / 高性能模式]CPU推理耗时ms[常规模式 / 高性能模式]模型存储大小M介绍PP-TinyPose_128x96推理模型 / 训练模型Top-Down128*9658.424.22 / 4.34- / 6.194.9PP-TinyPose 是百度飞桨视觉团队自研的针对移动端设备优化的实时关键点检测模型可流畅地在移动端设备上执行多人姿态估计任务PP-TinyPose_256x192推理模型 / 训练模型Top-Down256*19268.321.73 / 3.59- / 10.184.9两个模型尺寸相同约 4.9M256x192 输入版本精度更高AP 68.3128x96 版本在 CPU 上延迟更低适合移动端实时场景。测试环境说明性能测试环境测试数据集为 COCO 数据集指标为 AP(0.5:0.95)所依赖的检测框为 ground truth 标注得到。硬件配置GPUNVIDIA Tesla T4CPUIntel Xeon Gold 6271C 2.60GHz其他环境Ubuntu 20.04 / CUDA 11.8 / cuDNN 8.9 / TensorRT 8.6.1.6推理模式说明模式GPU配置CPU配置加速技术组合常规模式FP32精度 / 无TRT加速FP32精度 / 8线程PaddleInference高性能模式选择先验精度类型和加速策略的最优组合FP32精度 / 8线程选择先验最优后端Paddle/OpenVINO/TRT等三、快速集成几行代码完成关键点检测推理❗ 在快速集成前请先安装 PaddleX 的 wheel 包详细请参考 PaddleX本地安装教程。完成 wheel 包的安装后几行代码即可完成人体关键点检测模块的推理可以任意切换该模块下的模型也可以将人体关键点检测模块中的模型推理集成到您的项目中。运行以下代码前请先下载示例图片到本地。from paddlex import create_model model create_model(model_namePP-TinyPose_128x96) output model.predict(keypoint_detection_002.jpg, batch_size1) for res in output: res.print() res.save_to_img(./output/) res.save_to_json(./output/)运行后得到的结果如下{res: {input_path: keypoint_detection_002.jpg, kpts: [{keypoints: array([[175.28381 , 56.04361 , 0.6522829 ], [181.32794 , 49.64205 , 0.7338211 ], [169.46002 , 50.59111 , 0.68370765], [193.34212 , 51.919697 , 0.86765444], [164.50787 , 55.65199 , 0.8232859 ], [219.72359 , 90.2871 , 0.8812915 ], [152.90378 , 95.078064 , 0.9093066 ], [233.10957 , 149.67049 , 0.77069044], [139.55766 , 144.38327 , 0.75550145], [245.2283 , 202.4244 , 0.7065905 ], [117.837944 , 188.5641 , 0.8892116 ], [203.29543 , 200.2967 , 0.83833086], [172.00792 , 201.19939 , 0.7636936 ], [181.18797 , 273.06693 , 0.8719099 ], [185.175 , 278.47977 , 0.687819 ], [171.55069 , 362.4273 , 0.7994317 ], [201.69414 , 354.59534 , 0.67892176]], dtypefloat32), kpt_score: 0.7831442}]}}参数含义如下input_path输入的待预测图像的路径kpts预测的关键点信息一个字典列表。每个字典包含以下信息keypoints关键点坐标信息一个 numpy 数组形状为[num_keypoints, 3]其中每个关键点由[x, y, score]组成score为该关键点的置信度kpt_score关键点整体的置信度即关键点的平均置信度PP-TinyPose 输出的是 COCO 17 点人体骨架从结果中可以看到 17 行[x, y, score]坐标。可视化结果由 inference/models/keypoint_detection/result.py 中的draw_keypoints绘制当检测到 17 个关键点时按 COCO 骨架拓扑连线低置信度关键点默认visual_thresh0.1会被跳过不绘制。3.1create_model参数说明create_model用于实例化人体关键点检测模型此处以PP-TinyPose_128x96为例具体说明如下参数参数说明参数类型可选项默认值model_name模型名称str无无model_dir模型存储路径str无无device模型推理设备str支持指定GPU具体卡号如gpu:0其他硬件具体卡号如npu:0CPU如cpugpu:0use_hpip是否启用高性能推理插件bool无Falsehpi_config高性能推理配置dictNone无Noneflip是否进行图像水平反转推理结果融合如果为True模型会对输入图像水平翻转后再次推理并融合两次推理结果以增加关键点预测的准确性bool无False其中model_name必须指定指定model_name后默认使用 PaddleX 内置的模型参数在此基础上指定model_dir时使用用户自定义的模型。值得深入理解的是flip参数水平翻转测试。在 predictor.py 中KptPredictor定义了flip_perm左右关节交换列表COCO 17 点中左右对称关键点的配对关系如[1,2]、[3,4]等推理时先将输入图像沿宽度方向翻转再次推理再通过flip_back方法把翻转结果的各关节按flip_perm换回对称位置并执行shift_heatmap的 1 像素偏移修正PP-TinyPose 专属最后与原始推理的 heatmap 取平均(output output_flipped) * 0.5。因此开启flip会带来一次额外的翻转推理精度更高但耗时翻倍。3.2predict()方法参数说明调用人体关键点检测模型的predict()方法进行推理预测predict()方法参数有input和batch_size具体说明如下参数参数说明参数类型可选项默认值input待预测数据支持多种输入类型Python Var/str/listPython变量如numpy.ndarray表示的图像数据文件路径如图像文件的本地路径/root/data/img.jpgURL链接如图像文件的网络URL本地目录该目录下需包含待预测数据文件如本地路径/root/data/列表列表元素需为上述类型数据如[numpy.ndarray, numpy.ndarray]、[/root/data/img1.jpg, /root/data/img2.jpg]、[/root/data1, /root/data2]无batch_size批大小int任意整数1底层的数据打批逻辑由 predictor.py 中的KptBatchSampler完成它会自动处理 URL 下载、目录展开并按batch_size切分为多个批次与常规图像任务不同关键点模块明确不支持 PDF 文件作为输入PDF_SUFFIX []。3.3 预测结果处理方法与属性对预测结果进行处理每个样本的预测结果均为对应的 Result 对象且支持打印、保存为图片、保存为json文件的操作方法方法说明参数参数类型参数说明默认值print()打印结果到终端format_jsonbool是否对输出内容使用JSON缩进格式化Trueindentint指定缩进级别以美化输出的JSON数据使其更具可读性仅当format_json为True时有效4ensure_asciibool控制是否将非ASCII字符转义为Unicode。设置为True时所有非ASCII字符将被转义False则保留原始字符仅当format_json为True时有效Falsesave_to_json()将结果保存为 json 格式的文件save_pathstr保存的文件路径当为目录时保存文件命名与输入文件类型命名一致无indentint指定缩进级别以美化输出的JSON数据使其更具可读性仅当format_json为True时有效4ensure_asciibool控制是否将非ASCII字符转义为Unicode。设置为True时所有非ASCII字符将被转义False则保留原始字符仅当format_json为True时有效Falsesave_to_img()将结果保存为图像格式的文件save_pathstr保存的文件路径当为目录时保存文件命名与输入文件类型命名一致无此外也支持通过属性获取带结果的可视化图像和预测结果属性属性说明json获取预测的json格式的结果img获取格式为dict的可视化图像关于更多 PaddleX 的单模型推理 API 的使用方法可以参考 PaddleX单模型Python脚本使用说明。四、二次开发数据校验、训练、评估与推理如果你追求更高精度的现有模型可以使用 PaddleX 的二次开发能力开发更好的关键点检测模型。在使用 PaddleX 开发关键点检测模型之前请务必安装 PaddleX 的 PaddleDetection 插件安装过程可以参考 PaddleX本地安装教程。4.1 数据准备在进行模型训练前需要准备相应任务模块的数据集。PaddleX 针对每一个模块提供了数据校验功能只有通过数据校验的数据才可以进行模型训练。此外PaddleX 为每一个模块都提供了 demo 数据集你可以基于官方提供的 Demo 数据完成后续的开发。4.1.1 Demo 数据下载参考下面的命令将 Demo 数据集下载到指定文件夹cd /path/to/paddlex wget https://paddle-model-ecology.bj.bcebos.com/paddlex/data/keypoint_coco_examples.tar -P ./dataset tar -xf ./dataset/keypoint_coco_examples.tar -C ./dataset/从数据校验源码 modules/keypoint_detection/dataset_checker/dataset_src/check_dataset.py 可以看出关键点 Demo 数据集遵循 COCO 关键点格式数据集根目录下必须存在annotations/instance_train.json与annotations/instance_val.json两个标注文件图像放在images/目录下二者缺一不可否则校验会直接报错。4.1.2 数据校验一行命令即可完成数据校验python main.py -c paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml \ -o Global.modecheck_dataset \ -o Global.dataset_dir./dataset/keypoint_coco_examples执行上述命令后PaddleX 会对数据集进行校验并统计数据集的基本信息命令运行成功后会在 log 中打印出Check dataset passed !信息。校验结果文件保存在./output/check_dataset_result.json同时相关产出会保存在当前目录的./output/check_dataset目录下产出目录中包括可视化的示例样本图片和样本分布直方图。校验结果文件具体内容为{ done_flag: true, check_pass: true, attributes: { num_classes: 1, train_samples: 500, train_sample_paths: [ check_dataset/demo_img/000000560108.jpg, check_dataset/demo_img/000000434662.jpg, check_dataset/demo_img/000000540556.jpg, ... ], val_samples: 100, val_sample_paths: [ check_dataset/demo_img/000000463730.jpg, check_dataset/demo_img/000000085329.jpg, check_dataset/demo_img/000000459153.jpg, ... ] }, analysis: { histogram: check_dataset/histogram.png }, dataset_path: keypoint_coco_examples, show_type: image, dataset_type: KeypointTopDownCocoDetDataset }上述校验结果中check_pass为True表示数据集格式符合要求其他部分指标的说明如下attributes.num_classes该数据集类别数为 1attributes.train_samples该数据集训练集样本数量为 500attributes.val_samples该数据集验证集样本数量为 100attributes.train_sample_paths该数据集训练集样本可视化图片相对路径列表attributes.val_sample_paths该数据集验证集样本可视化图片相对路径列表。数据集校验还会对数据集中所有类别的样本数量分布情况进行分析并绘制分布直方图histogram.png。从源码看校验过程使用pycocotools解析 COCO 标注统计每个集合的图片数量并通过 dataset_src/utils/visualizer.py 中的draw_keypoint将标注的关键点渲染到示例图片上输出到check_dataset/demo_img/目录供人工抽检。4.1.3 数据集格式转换 / 数据集划分可选在完成数据校验之后可以通过修改配置文件或是追加超参数的方式对数据集的格式进行转换也可以对数据集的训练/验证比例进行重新划分。1数据集格式转换关键点检测不支持数据格式转换。2数据集划分数据集划分的参数可以通过修改配置文件中CheckDataset下的字段进行设置配置文件中部分参数的示例说明如下CheckDataset:split:enable: 是否进行重新划分数据集为True时进行数据集划分默认为Falsetrain_percent: 如果重新划分数据集则需要设置训练集的百分比类型为 0-100 之间的任意整数需要保证与val_percent的值之和为 100。例如你想重新划分数据集为训练集占比 90%、验证集占比 10%则需将配置文件修改为...... CheckDataset: ...... split: enable: True train_percent: 90 val_percent: 10 ......随后执行命令python main.py -c paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml \ -o Global.modecheck_dataset \ -o Global.dataset_dir./dataset/keypoint_coco_examples数据划分执行之后原有标注文件会被在原路径下重命名为xxx.bak。以上参数同样支持通过追加命令行参数的方式进行设置python main.py -c paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml \ -o Global.modecheck_dataset \ -o Global.dataset_dir./dataset/keypoint_coco_examples \ -o CheckDataset.split.enableTrue \ -o CheckDataset.split.train_percent90 \ -o CheckDataset.split.val_percent104.2 模型训练一条命令即可完成模型的训练以此处PP-TinyPose_128x96的训练为例python main.py -c paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml \ -o Global.modetrain \ -o Global.dataset_dir./dataset/keypoint_coco_examples需要如下几步指定模型的.yaml配置文件路径此处为PP-TinyPose_128x96.yaml训练其他模型时需要指定相应的配置文件模型和配置文件的对应关系可查阅 PaddleX模型列表CPU/GPU指定模式为模型训练-o Global.modetrain指定训练数据集路径-o Global.dataset_dir其他相关参数均可通过修改.yaml配置文件中的Global和Train下的字段来进行设置也可以通过在命令行中追加参数来进行调整。如指定前 2 卡 GPU 训练-o Global.devicegpu:0,1设置训练轮次数为 10-o Train.epochs_iters10。更多可修改的参数及其详细解释可以查阅模型对应任务模块的配置文件说明 PaddleX通用模型配置文件参数说明新特性Paddle 3.0 版本支持了 CINN 神经网络编译器在使用 GPU 设备训练时不同模型有不同程度的训练加速效果。在 PaddleX 中训练模型时可通过指定参数-o Train.dy2stTrue开启。训练过程中会自动保存模型权重文件默认为output如需指定保存路径可通过配置文件中-o Global.output字段进行设置。PaddleX 对使用者屏蔽了动态图权重和静态图权重的概念在模型训练的过程中会同时产出动态图和静态图的权重在模型推理时默认选择静态图权重推理。在完成模型训练后所有产出保存在指定的输出目录默认为./output/下通常有以下产出train_result.json训练结果记录文件记录了训练任务是否正常完成以及产出的权重指标、相关文件路径等train.log训练日志文件记录了训练过程中的模型指标变化、loss 变化等config.yaml训练配置文件记录了本次训练的超参数的配置.pdparams、.pdopt、.pdiparams、.json模型权重相关文件包括网络参数、优化器、静态图网络参数、静态图网络结构等。【注意】Paddle 3.0.0 对于静态图网络结构信息的存储格式由 protobuf原.pdmodel后缀文件升级为 json现.json后缀文件以兼容 PIR 体系并获得更好的灵活性与扩展性。训练配置详解结合源码模块级配置文件 paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml 是二次开发的入口其中Global、Train、Evaluate、Predict、Export各字段含义如下Globalmodel模型名、mode运行模式check_dataset/train/evaluate/predict、dataset_dir数据集路径、device训练设备默认gpu:0,1,2,3、output输出目录默认outputTrainnum_classes类别数人体关键点为 1、epochs_iters训练轮数默认 50、batch_size批大小默认 16、learning_rate学习率默认 0.001、pretrain_weight_path预训练权重、warmup_steps预热步数默认 100、resume_path断点续训路径、log_interval日志间隔默认 10、eval_interval评估间隔默认 1Evaluateweight_path评估权重路径、log_intervalPredictbatch_size、model_dir推理模型目录、input预测输入默认即为演示图片 URL、kernel_option.run_mode推理后端默认paddleExportweight_path待导出权重路径。底层训练由 modules/keypoint_detection/trainer.py 中的KeypointTrainer完成它继承自目标检测的DetTrainer并将数据集以KeypointTopDownCocoDataset形式接入。真正的网络与训练超参定义在 PaddleDetection 插件配置 paddlex/repo_apis/PaddleDetection_api/configs/PP-TinyPose_128x96.yaml 中从中可以看到网络架构为TopDownHRNetbackbone 为LiteHRNetwider_naive结构width40检测 17 个关节点num_joints: 17loss 采用KeyPointMSELoss热图尺寸为hmsize: [24, 32]对应 128x96 输入缩放到 1/4 分辨率训练阶段的数据增强包含RandomFlipHalfBodyTransform半身随机翻转flip_pairs与推理时flip_perm保持一致、AugmentationbyInformantionDropping随机遮挡、TopDownAffine基于检测框的仿射裁剪以及ToHeatmapsTopDown_DARKDARK 格式热图标签sigma: 1use_dark: true表示训练与推理均采用 DARK 关键点定位策略。4.3 模型评估在完成模型训练后可以对指定的模型权重文件在验证集上进行评估验证模型精度。使用 PaddleX 进行模型评估一条命令即可完成python main.py -c paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml \ -o Global.modeevaluate \ -o Global.dataset_dir./dataset/keypoint_coco_examples与模型训练类似需要如下几步指定模型的.yaml配置文件路径此处为PP-TinyPose_128x96.yaml指定模式为模型评估-o Global.modeevaluate指定验证数据集路径-o Global.dataset_dir。其他相关参数均可通过修改.yaml配置文件中的Global和Evaluate下的字段来进行设置详细请参考 PaddleX通用模型配置文件参数说明。在模型评估时需要指定模型权重文件路径每个配置文件中都内置了默认的权重保存路径output/best_model/best_model.pdparams如需要改变只需要通过追加命令行参数的形式进行设置即可如-o Evaluate.weight_path./output/best_model/best_model/model.pdparams。在完成模型评估后会产出evaluate_result.json其记录了评估任务是否正常完成以及模型的评估指标包含 AP。从 modules/keypoint_detection/evaluator.py 的源码看评估器KeypointEvaluator使用KeypointTopDownCocoDataset与KeyPointTopDownCOCOEval指标即 COCO 关键点 AP 评估协议并通过update_config将训练时的数据字段与评估权重注入底层配置。4.4 模型推理在完成模型的训练和评估后即可使用训练好的模型权重进行推理预测。在 PaddleX 中实现模型推理预测可以通过两种方式命令行和 wheel 包。4.4.1 命令行推理通过命令行的方式进行推理预测只需如下一条命令。运行以下代码前请先下载示例图片到本地。python main.py -c paddlex/configs/modules/keypoint_detection/PP-TinyPose_128x96.yaml \ -o Global.modepredict \ -o Predict.model_dir./output/best_model/inference \ -o Predict.inputkeypoint_detection_002.jpg与模型训练和评估类似需要如下几步指定模型的.yaml配置文件路径此处为PP-TinyPose_128x96.yaml指定模式为模型推理预测-o Global.modepredict指定模型权重路径-o Predict.model_dir./output/best_model/inference指定输入数据路径-o Predict.input...。其他相关参数均可通过修改.yaml配置文件中的Global和Predict下的字段来进行设置详细请参考 PaddleX通用模型配置文件参数说明。4.4.2 模型集成模型可以直接集成到 PaddleX 产线中也可以直接集成到您自己的项目中。1. 产线集成人体关键点检测模块可以集成的 PaddleX 产线有人体关键点检测产线只需要替换模型路径即可完成相关产线的人体关键点检测模块的模型更新。在产线集成中你可以使用高性能部署和服务化部署来部署得到的模型。产线配置示例见 paddlex/configs/pipelines/human_keypoint_detection.yaml该产线由两个子模块串联构成——ObjectDetection子模块使用PP-YOLOE-S_human先做人检测这也是 Top-Down 方案中的检测器环节随后KeypointDetection子模块使用PP-TinyPose_128x96对每个人体框做关键点估计并支持flip与use_udp等推理选项。2. 模块集成你产出的权重可以直接集成到人体关键点检测模块中参考快速集成的 Python 示例代码只需要将模型替换为你训练得到的模型路径即可from paddlex import create_model model create_model(model_namePP-TinyPose_128x96, model_dir/path/to/your/model/inference) output model.predict(your_image.jpg, batch_size1)五、关键点推理链路源码透视为了帮助你更深入理解 PaddleX 关键点检测的完整推理链路这里梳理 inference/models/keypoint_detection/ 目录下的三个核心文件的职责预处理TopDownAffine在 processors.py 中TopDownAffine根据人体框的中心点center与尺度scale通过仿射变换warpAffine将检测框区域裁剪并缩放到模型输入尺寸如 128x96。当use_udpTrue时使用get_warp_matrix计算无偏变换矩阵UDPCVPR 2020 论文方法可进一步提升关键点定位精度。模型推理与水平翻转融合在 predictor.py 中完成模型输出的是每个关节点对应的 heatmap 热图形状[batch, num_joints, H, W]flip模式下会融合翻转推理结果。后处理KptPostProcess在 processors.py 中KptPostProcess首先从热图中取最大值位置得到粗关键点坐标get_max_preds然后默认启用 DARK 后处理use_darkTrue对热图做高斯模糊后取对数再通过泰勒展开dark_parse中的 Hessian 矩阵求极值偏移得到亚像素级精确坐标最后用transform_preds把坐标从模型空间映射回原图得到最终的[x, y, score]结果与平均置信度kpt_score。这一仿射裁剪 → 热图回归 → DARK 亚像素精化 → 反变换回原图的链路正是 PP-TinyPose 在移动端也能保持较高定位精度的关键所在也是理解后续对模型进行量化、裁剪等移动端优化的基础。赞分享人工智能大模型低代码计算机视觉深度学习NLP模型推理服务RAG【免费下载链接】PaddleXAll-in-One Development Tool based on PaddlePaddle项目地址https://gitcode.com/paddlepaddle/PaddleX点击查看免费下载相关推荐PaddleDetection TinyPose 人体关键点检测 OpenVINO C 部署实战PicoDet TinyPose 双模型推理 Demo 全解析PaddleDetection TinyPose 人体关键点检测 OpenVINO C 部署实战PicoDet TinyPose 双模型推理 Demo人工智能深度学习计算机视觉PaddleDetection多目标跟踪与关键点检测实战PP-Tracking、PP-TinyPose全流程指南PaddleDetection多目标跟踪与关键点检测实战PP Tracking、PP TinyPose全流程指南 PaddleDetection 是基于飞桨人工智能深度学习计算机视觉.NET 覆盖率分析实战指南基于 Cobertura 证据解读、目标算术与 CRAP 风险排名dotnet-test coverage-analysis Skill.NET 覆盖率分析实战指南基于 Cobertura 证据解读、目标算术与 CRAP 风险排名dotnet test coverage analysis S人工智能大模型低代码计算机视觉深度学习NLP模型推理服务RAG微调语音上一篇终极 ChatGPT-Google 扩展日志分析指南深度洞察用户行为与功能使用统计 下一篇【亲测免费】 探索与控制设备亮度的利器brightnessctl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
