人体关键点检测(人体姿势估计)含训练代码

人体关键点检测2Pytorch实现人体关键点检测(人体姿势估计)含训练代码

2.人体关键点检测方法

Pose是计算机视觉中一个相对基础的任务是人体动作识别、行为分析、人机交互等的前置任务。

一般情况下可以将人体关键点检测细分为单人/多人关键点检测、2D/3D关键点检测同时有算法在完成关键点检测之后还会进行关键点的跟踪也被称为人体姿态跟踪。

本项目将实现人体关键点检测算法其中使用YOLOv5模型实现人体检测(Person

Detection)使用HRNetLiteHRNet和Mobilenet-v2模型实现人体关键点检测。

项目分为数据集说明模型训练和C/Android部署等多个章节本篇是项目《人体关键点检测(人体姿势估计)》系列文章之Pytorch实现人体关键点检测(人体姿势估计)为了方便后续模型工程化和Android平台部署项目支持高精度HRNet检测模型轻量化模型LiteHRNet和Mobilenet模型训练和测试并提供Python/C/Android多个版本

轻量化Mobilenet-v2模型在普通Android手机上可以达到实时的检测效果CPU(4线程)约50ms左右GPU约30ms左右

基本满足业务的性能需求。

下表格给出HRNet以及轻量化模型LiteHRNet和Mobilenet的计算量和参数量以及其检测精度

模型input-sizeparams(M)GFLOPsAPHRNet-w32192×25628.48M5734.05M0.7585LiteHRNet18192×2561.10M182.15M0.6237Mobilenet-v2192×2562.63M529.25M0.6181

先展示一下人体关键点检测效果

Demo体验(下载)https://download.csdn.net/download/guyuealian/88610359

【尊重原创转载请注明出处】https://blog.csdn.net/guyuealian/article/details/134837816

https://blog.csdn.net/guyuealian/article/details/134703548人体关键点检测2Pytorch实现人体关键点检测(人体姿势估计)含训练代码和数据集

https://blog.csdn.net/guyuealian/article/details/134837816人体关键点检测3Android实现人体关键点检测(人体姿势估计)含源码

https://blog.csdn.net/guyuealian/article/details/134881797人体关键点检测4C/C实现人体关键点检测(人体姿势估计)含源码

https://blog.csdn.net/guyuealian/article/details/134881797手部关键点检测1手部关键点(手部姿势估计)数据集(含下载链接)https://blog.csdn.net/guyuealian/article/details/133277630手部关键点检测2YOLOv5实现手部检测(含训练代码和数据集)https://blog.csdn.net/guyuealian/article/details/133279222手部关键点检测3Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集https://blog.csdn.net/guyuealian/article/details/133277726手部关键点检测4Android实现手部关键点检测(手部姿势估计)含源码

可实时检测https://blog.csdn.net/guyuealian/article/details/133931698手部关键点检测5C实现手部关键点检测(手部姿势估计)含源码

可实时检测https://blog.csdn.net/guyuealian/article/details/133277748

2.人体关键点检测方法

目前主流的人体关键点检测(人体姿势估计)方法主要两种一种是Top-Down自上而下方法另外一种是Bottom-Up自下而上方法

(1)Top-Down(自上而下)方法

将人体检测和人体关键点检测(人体姿势估计)检测分离在图像上首先进行人体目标检测定位人体位置然后crop每一个人体图像再估计人体关键点这类方法往往比较慢但姿态估计准确度较高。

目前主流模型主要有CPNHourglassCPMAlpha

(2)Bottom-Up(自下而上)方法

先估计图像中所有人体关键点然后在通过Grouping的方法组合成一个一个实例因此这类方法在测试推断的时候往往更快速准确度稍低。

典型就是COCO2016年人体关键点检测冠军Open

通常来说Top-Down具有更高的精度而Bottom-Up具有更快的速度就目前调研而言

Top-Down的方法研究较多精度也比Bottom-Up自下而上方法高。

本项目采用Top-Down(自上而下)方法先使用YOLOv5模型实现人体检测然后再使用HRNet进行人体关键点检测(人体姿势估计)

本项目基于开源的HRNet进行改进关于HRNet项目请参考GitHub

HRNet:

https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

3.人体关键点检测数据集

本项目主要使用COCO数据集和MPII数据集关于人体关键点检测数据集说明请参考《人体关键点检测1人体姿势估计数据集》https://blog.csdn.net/guyuealian/article/details/134703548

4.人体检测模型训练

本项目采用Top-Down(自上而下)方法使用YOLOv5模型实现人体目标检测使用HRNet进行人体关键点检测(人体姿势估计)关于人体检测模型训练方法可参考

行人检测(人体检测)2YOLOv5实现人体检测(含人体检测数据集和训练代码)

5.人体关键点检测模型训练

推荐使用Python3.8或Python3.7更高版本可能存在版本差异问题项目依赖python包请参考requirements.txt使用pip安装即可项目代码都在Ubuntu系统和Windows系统验证正常运行请放心使用若出现异常大概率是相关依赖包版本没有完全对应

numpy1.21.6

basetrainer项目安装教程请参考初学者入门麻烦先看完下面教程配置好Python开发环境

推荐使用Python3.8或Python3.7更高版本可能存在版本差异问题项目开发使用教程和常见问题和解决方法视频教程1

如何在pycharm中使用Anaconda创建的python环境

2准备Train和Test数据

下载COCO数据集或者MPII数据集建议使用COCO数据集然后

───

项目支持HRNet以及轻量化模型LiteHRNet和Mobilenet模型训练并提供对应的配置文件你需要修改对应配置文件的数据路径本篇以训练HRNet-w32为例子其配置文件在configs/coco/hrnet/w32_adam_192_192.yaml修改该文件的训练数据集路径TRAIN_FILE支持多个数据集训练和测试数据集TEST_FILE的数据路径为你本地数据路径其他参数保持默认即可如下所示

WORKERS:

D:/COCO/train2017/person_keypoints_train2017.jsonTEST_FILE:

D:/COCO/val2017/person_keypoints_val2017.jsonFLIP:

trueROT_FACTOR:

参数类型参考值说明WORKERSint8数据加载处理的进程数PRINT_FREQint10打印LOG信息的间隔DATASETstrcustom_coco数据集类型目前仅支持COCO数据格式TRAIN_FILEList-训练数据集文件列表(COCO数据格式)支持多个数据集TEST_FILEstring-测试数据集文件(COCO数据格式),仅支持单个数据集FLIPboolTrue是否翻转图片进行测试可提高测试效果ROT_FACTORfloat45训练数据随机旋转的最大角度用于数据增强SCALE_FACTORfloat1.25图像缩放比例因子SCALE_RATEfloat0.25图像缩放率JOINT_IDSlist[

]表示所有关键点也可以指定需要训练的关键点序号IDFLIP_PAIRSlist[

]图像翻转时关键点不受翻转影响的ID号SKELETONlist[

4开始训练

configs/coco/hrnet/w48_adam_192_192.yaml

--workers8

configs/coco/hrnet/w32_adam_192_192.yaml

--workers8

--work_dirwork_space/person训练轻量化模型LiteHRNet

轻量化模型LiteHRNet

configs/coco/litehrnet/litehrnet18_192_192.yaml

--workers8

--work_dirwork_space/person训练轻量化模型Mobilenetv2

轻量化模型Mobilenet

configs/coco/mobilenet/mobilenetv2_192_192.yaml

--workers8

--work_dirwork_space/person下表格给出HRNet以及轻量化模型LiteHRNet和Mobilenet的计算量和参数量以及其检测精度AP

高精度检测模型HRNet-w32AP可以达到0.7585但其参数量和计算量比较大不合适在移动端部署LiteHRNet18和Mobilenet-v2参数量和计算量比较少合适在移动端部署虽然LiteHRNet18的理论计算量和参数量比Mobilenet-v2低但在实际测试中发现Mobilenet-v2运行速度更快。

轻量化Mobilenet-v2模型在普通Android手机上可以达到实时的检测效果CPU(4线程)约50ms左右GPU约30ms左右

模型input-sizeparams(M)GFLOPsAPHRNet-w32192×25628.48M5734.05M0.7585LiteHRNet18192×2561.10M182.15M0.6237Mobilenet-v2192×2562.63M529.25M0.6181

训练过程可视化工具是使用Tensorboard使用方法在终端输入#

基本方法

--logdirwork_space/person/hrnet_w32_16_192_256_mpii_20231127_113836_6644/log

点击终端TensorBoard打印的链接即可在浏览器查看训练LOG信息等

6.人体关键点检测检测模型效果

demo.py文件用于推理和测试模型的效果填写好配置文件模型文件以及测试图片即可运行测试了demo.py命令行参数说明如下

参数类型参考值说明-c,--config_filestr-配置文件-m,--model_filestr-模型文件targetstr-骨骼点类型如hand,coco_person,mpii_personimage_dirstrdata/image测试图片的路径video_filestr,int-测试的视频文件out_dirstroutput保存结果为空不保存thresholdfloat0.3关键点检测置信度devicestrcuda:0GPU

下面以运行HRNet-w32为样例其他模型修改--config_file或者--model_file即可

测试图片

work_space/person/hrnet_w32_17_192_256_custom_coco_20231115_092948_1789/w32_adam_192_192.yaml

work_space/person/hrnet_w32_17_192_256_custom_coco_20231115_092948_1789/model/best_model_195_0.7585.pth

--image_dir

work_space/person/hrnet_w32_17_192_256_custom_coco_20231115_092948_1789/w32_adam_192_192.yaml

work_space/person/hrnet_w32_17_192_256_custom_coco_20231115_092948_1789/model/best_model_195_0.7585.pth

--video_file

work_space/person/hrnet_w32_17_192_256_custom_coco_20231115_092948_1789/w32_adam_192_192.yaml

work_space/person/hrnet_w32_17_192_256_custom_coco_20231115_092948_1789/model/best_model_195_0.7585.pth

--video_file

work_space/person/hrnet_w32_16_192_256_mpii_20231127_113836_6644/w32_adam_192_192.yaml

work_space/person/hrnet_w32_16_192_256_mpii_20231127_113836_6644/model/best_model_148_89.4041.pth

--image_dir

人体关键点检测推理代码下载地址Pytorch实现人体关键点检测(人体姿势估计)推理代码

资源内容包含

提供YOLOv5人体检测推理代码不包含训练代码提供人体关键点检测(人体姿势估计)推理代码demo.py不包含训练代码提供高精度版本HRNet人体关键点检测(人体姿势估计)不包含训练代码提供轻量化模型LiteHRNet,以及Mobilenet-v2人体关键点检测(人体姿势估计)不包含训练代码提供训练好的模型HRNet-w32,LiteHRNet和Mobilenet-v2模型权重文件配置好环境可直接运行demo.py推理代码demo.py支持图片视频和摄像头测试

8.人体关键点检测(训练代码)下载

提供YOLOv5人体检测推理代码提供整套完整的项目工程代码包含人体关键点检测(人体姿势估计)的训练代码train.py和推理测试代码demo.py提供高精度版本HRNet人体关键点检测(人体姿势估计)训练和测试代码提供轻量化模型LiteHRNet以及Mobilenet-v2人体关键点检测(人体姿势估计)训练和测试代码项目代码支持MPII数据集和COCO数据集人体关键点检测模型训练和测试根据本篇博文说明简单配置即可开始训练train.py提供训练好的模型HRNet-w32,LiteHRNet和Mobilenet-v2模型权重文件配置好环境可直接运行demo.py推理代码demo.py支持图片视频和摄像头测试

9.人体关键点检测C/Android版本

人体关键点检测3Android实现人体关键点检测(人体姿势估计)含源码

https://blog.csdn.net/guyuealian/article/details/134881797人体关键点检测4C/C实现人体关键点检测(人体姿势估计)含源码

https://blog.csdn.net/guyuealian/article/details/134881797

Android人体关键点检测APP

Demo体验(下载)https://download.csdn.net/download/guyuealian/88610359