MaochengHu 576cda45b8 first commit | 2 years ago | |
---|---|---|
.. | ||
config | 2 years ago | |
docs | 2 years ago | |
README.md | 2 years ago | |
README_en.md | 2 years ago | |
__init__.py | 2 years ago | |
datacollector.py | 2 years ago | |
mtmct.py | 2 years ago | |
pipe_utils.py | 2 years ago | |
pipeline.py | 2 years ago | |
reid.py | 2 years ago |
English | 简体中文
PP-Human是基于飞桨深度学习框架的业界首个开源的实时行人分析工具,具有功能丰富,应用广泛和部署高效三大优势。PP-Human 支持图片/单镜头视频/多镜头视频多种输入方式,功能覆盖多目标跟踪、属性识别和行为分析。能够广泛应用于智慧交通、智慧社区、工业巡检等领域。支持服务器端部署及TensorRT加速,T4服务器上可达到实时。
PP-Human赋能社区智能精细化管理, AIStudio快速上手教程链接
实时行人分析全流程实战, 覆盖训练、部署、动作类型扩展等内容,AIStudio项目请见链接
环境要求: PaddleDetection版本 >= release/2.4 或 develop版本
PaddlePaddle和PaddleDetection安装
# PaddlePaddle CUDA10.1
python -m pip install paddlepaddle-gpu==2.2.2.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
# PaddlePaddle CPU
python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
# 克隆PaddleDetection仓库
cd <path/to/clone/PaddleDetection>
git clone https://github.com/PaddlePaddle/PaddleDetection.git
# 安装其他依赖
cd PaddleDetection
pip install -r requirements.txt
TensorRT版本Paddle
。您可以从Paddle安装包下载安装,或者按照指导文档使用docker或自编译方式准备Paddle环境。PP-Human提供了目标检测、属性识别、行为识别、ReID预训练模型,以实现不同使用场景,用户可以直接下载使用
任务 | 适用场景 | 精度 | 预测速度(ms) | 模型权重 | 预测部署模型 |
---|---|---|---|---|---|
目标检测 | 图片输入 | mAP: 56.3 | 28.0ms | 下载链接 | 下载链接 |
目标跟踪 | 视频输入 | MOTA: 72.0 | 33.1ms | 下载链接 | 下载链接 |
属性识别 | 图片/视频输入 属性识别 | mA: 94.86 | 单人2ms | - | 下载链接 |
关键点检测 | 视频输入 行为识别 | AP: 87.1 | 单人2.9ms | 下载链接 | 下载链接 |
行为识别 | 视频输入 行为识别 | 准确率: 96.43 | 单人2.7ms | - | 下载链接 |
ReID | 视频输入 跨镜跟踪 | mAP: 98.8 | 单人1.5ms | - | 下载链接 |
下载模型后,解压至./output_inference
文件夹
注意:
PP-Human相关配置位于deploy/pphuman/config/infer_cfg.yml
中,存放模型路径,完成不同功能需要设置不同的任务类型
功能及任务类型对应表单如下:
输入类型 | 功能 | 任务类型 | 配置项 |
---|---|---|---|
图片 | 属性识别 | 目标检测 属性识别 | DET ATTR |
单镜头视频 | 属性识别 | 多目标跟踪 属性识别 | MOT ATTR |
单镜头视频 | 行为识别 | 多目标跟踪 关键点检测 行为识别 | MOT KPT ACTION |
例如基于视频输入的属性识别,任务类型包含多目标跟踪和属性识别,具体配置如下:
crop_thresh: 0.5
attr_thresh: 0.5
visual: True
MOT:
model_dir: output_inference/mot_ppyoloe_l_36e_pipeline/
tracker_config: deploy/pphuman/config/tracker_config.yml
batch_size: 1
ATTR:
model_dir: output_inference/strongbaseline_r50_30e_pa100k/
batch_size: 8
注意:
--enable_attr=True
或 --enable_action=True
即可,无需修改配置文件--model_dir det=ppyoloe/
即可,无需修改配置文件,详细说明参考下方参数说明文档# 行人检测,指定配置文件路径和测试图片
python deploy/pphuman/pipeline.py --config deploy/pphuman/config/infer_cfg.yml --image_file=test_image.jpg --device=gpu [--run_mode trt_fp16]
# 行人跟踪,指定配置文件路径和测试视频
python deploy/pphuman/pipeline.py --config deploy/pphuman/config/infer_cfg.yml --video_file=test_video.mp4 --device=gpu [--run_mode trt_fp16]
# 行人跟踪,指定配置文件路径,模型路径和测试视频
# 命令行中指定的模型路径优先级高于配置文件
python deploy/pphuman/pipeline.py --config deploy/pphuman/config/infer_cfg.yml --video_file=test_video.mp4 --device=gpu --model_dir det=ppyoloe/ [--run_mode trt_fp16]
# 行人属性识别,指定配置文件路径和测试视频
python deploy/pphuman/pipeline.py --config deploy/pphuman/config/infer_cfg.yml --video_file=test_video.mp4 --device=gpu --enable_attr=True [--run_mode trt_fp16]
# 行为识别,指定配置文件路径和测试视频
python deploy/pphuman/pipeline.py --config deploy/pphuman/config/infer_cfg.yml --video_file=test_video.mp4 --device=gpu --enable_action=True [--run_mode trt_fp16]
# 行人跨境跟踪,指定配置文件路径和测试视频列表文件夹
python deploy/pphuman/pipeline.py --config deploy/pphuman/config/infer_cfg.yml --video_dir=mtmct_dir/ --device=gpu [--run_mode trt_fp16]
其他用法请参考子任务文档
参数 | 是否必须 | 含义 |
---|---|---|
--config | Yes | 配置文件路径 |
--model_dir | Option | PP-Human中各任务模型路径,优先级高于配置文件, 例如--model_dir det=better_det/ attr=better_attr/ |
--image_file | Option | 需要预测的图片 |
--image_dir | Option | 要预测的图片文件夹路径 |
--video_file | Option | 需要预测的视频 |
--camera_id | Option | 用来预测的摄像头ID,默认为-1(表示不使用摄像头预测,可设置为:0 - (摄像头数目-1) ),预测过程中在可视化界面按q 退出输出预测结果到:output/output.mp4 |
--enable_attr | Option | 是否进行属性识别, 默认为False,即不开启属性识别 |
--enable_action | Option | 是否进行行为识别,默认为False,即不开启行为识别 |
--device | Option | 运行时的设备,可选择CPU/GPU/XPU ,默认为CPU |
--output_dir | Option | 可视化结果保存的根目录,默认为output/ |
--run_mode | Option | 使用GPU时,默认为paddle, 可选(paddle/trt_fp32/trt_fp16/trt_int8) |
--enable_mkldnn | Option | CPU预测中是否开启MKLDNN加速,默认为False |
--cpu_threads | Option | 设置cpu线程数,默认为1 |
--trt_calib_mode | Option | TensorRT是否使用校准功能,默认为False。使用TensorRT的int8功能时,需设置为True,使用PaddleSlim量化后的模型时需要设置为False |
--do_entrance_counting | Option | 是否统计出入口流量,默认为False |
--draw_center_traj | Option | 是否绘制跟踪轨迹,默认为False |
PP-Human整体方案如下图所示