Intelligent-assistant-analysis-system-for-volleyball-game: Intelligent assistant analysis system for volleyball game,The purpose of this project is to realize the auxiliary analysis of volleyball matches and sports, improve the scores of matches, the scientific level of training and the audience's watching experience. 排球比赛智能辅助分析系统，这个项目旨在实现对排球比赛和运动的辅助分析，提高比赛得分、训练科学化水平和观众的观看体验。

# Intelligent-assistant-analysis-system-for-volleyball-game

# 排球比赛智能辅助分析系统

[![](https://img.shields.io/github/release/lvchuandong/Intelligent-assistant-analysis-system-for-volleyball-game.svg)]()[![](https://img.shields.io/github/issues/lvchuandong/Intelligent-assistant-analysis-system-for-volleyball-game.svg)]()[![](https://img.shields.io/github/issues-pr/lvchuandong/Intelligent-assistant-analysis-system-for-volleyball-game.svg)]()[![](https://img.shields.io/badge/author-LCD-blue.svg)](https://www.zhihu.com/people/ga-yao-95)[![](https://img.shields.io/badge/school-SDU-red.svg)](https://www.sdu.edu.cn/)

- 实现功能
  - - [x] 运动员检测和排球检测跟踪
  - - [x] 排球轨迹绘制
  - - [x] 比赛分数计算 
  - - [x] 训练辅助分析
  - - [ ] 比赛场地边界检测
  - - [ ] 实时计算比赛得分
## 一、介绍
Intelligent assistant analysis system for volleyball game,The purpose of this project is to realize the auxiliary analysis of volleyball matches and sports, improve the scores of matches, the scientific level of training and the audience's watching experience.  
排球比赛智能辅助分析系统，这个项目旨在实现对排球比赛和运动的辅助分析，提高比赛得分、训练科学化水平和观众的观看体验。

## 二、数据准备
- 需要从[https://pan.baidu.com/s/1EkcPKTFDj3WHKshyG-mBEg](https://pan.baidu.com/s/1EkcPKTFDj3WHKshyG-mBEg)下载相应的模型及视频文件，提取码为：p49k，其中darknet_weights需要放到data文件夹下，videos以及output_videos需要放到这个文件夹下代表的是测试视频以及相应的结果，siamrpn_r50_l234_dwxcorr需要放到pysot/experiments文件夹下，weights文件夹需要放在face_detection文件夹下，pose_model.pth放在demo文件夹下。

## 三、思路
- 这个项目整体的思路流程如下图所示，程序是将输入的帧数分成了30、60和120帧，但是输出的都是30帧（输入小于30帧的按原来的视频帧数输出），首先需要对输入的视频进行目标检测，检测出球和人的位置；还要进行相应的目标跟踪，这个是用来对球进行跟踪的当每检测到球的位置一次就需要初始化追踪的位置一次，然后检测不到球的位置的时候就需要进行球的目标跟踪了这里用的是pysot单目标跟踪算法；相应的还要进行运动员的姿态估计这里用的是openpose，采用的是当姿态估计的人体检测框和目标检测的人体检测框重合率大于相应的阈值（0.9）的时候才保留了这个姿态估计的结果；最后还要进行人脸检测，这个最开始使用的是DSFD因为这个实在是很慢后来又采用了DBFace这样既取得了快的检测速度又有很高精度的检测结果。
<div align="center">
<img src="./images/处理流程图.png" width="800">
</div>

## 四、算法
### 1、目标检测
因为需要考虑到视频处理的速度，这里没有采用检测精度高速度慢的RCNN系列，而是采用了速度和精度都较高的YOLOv3，我用Visio画了一个网络结构图，还有相应运动员和球的检测结果如下图所示。
<div align="center">
<img src="./images/yolov3网络结构.png" width="800">
</div>

### 2、目标跟踪
目标跟踪采用的是pysot，单目标跟踪的速度和精度上都有很好的效果。
这是原始模型的 实现效果
<div align="center">
<img src="./pysot/demo/output/bag_demo.gif" width="600">
</div>

### 3、姿态估计
姿态估计中主要分为以下两种方法
<div align="center">
<img src="./images/top-down和bootom-up.png" width="450">
</div>

这是原始模型的 实现效果
<div align="center">
<img src="./readme/result.gif" width="600">
</div>

自上而下精度高但是速度比较的慢，自下而上速度比较的快但是精度又不是很高，但是自下而上的方法能够结合目标检测的结果的话就比较的好了，因此采用了自下而上的openpose，上面处理流程图中的人体校准过程如下图所示，人体检测框为S2，姿态估计出的人体框为S1，我们计算了一个重合率，是S1与S2交集和S1之比，只有重合率超过相应的阈值（这里取0.9）时才看作是正确的姿态估计。
<div align="center">
<img src="./images/人体关键点.png" height="300">
</div>

这是姿态估计的结果
<div align="center">
<img src="./images/pose_result_2.jpg" height="300"><img src="./images/pose_result_3.jpg" height="300">
</div>

### 4、人脸检测
要想能够在视频中显示是哪个运动员进行了击球动作就需要进行人脸检测，开始的时候采用的是DSFD精度虽高但是速度很慢检测人脸多的时候就更慢了，因此最终采用了DBFace，速度和精度都有不错的效果，而且排球比赛的视角多为侧面那运动员人脸就多为侧脸，DBFace也能满足这一要求，网络结构以及检测的结果如下图所示。
<div align="center">
<img src="./images/face_detection.png" width="800">
</div>

## 五、运行
### 1、排球比赛
- 用开始的时候的人脸检测的时候原始视频和运行结果如下图所示，程序最少需要使用2块GPU。
```shell
CUDA_VISIBLE_DEVICES=0,1 python main.py --input_video videos/haha.MP4 --output_video result_haha_120.mp4 --input_fps 120
```
<div align="center">
<img src="./videos/haha.gif" width="450"><img src="./output_videos/result_haha_120.gif" width="450">
</div>

下面是用DBFace进行人脸检测的结果，会发现速度比原来快了不少，左上角是运行时间的显示，可以看到旁边会有人脸的显示，左边的人脸在视频的左侧进行显示，右面也是在视频右面显示，该视频共464帧原始的运行时间为138s，现在为67s。
```shell
CUDA_VISIBLE_DEVICES=0,1 python main_fast.py --input_video videos/haha.MP4 --output_video output_videos/result_haha_120_fast.mp4 --input_fps 120
```
<div align="center">
<img src="./videos/haha.gif" width="450"><img src="./output_videos/result_haha_120_fast.gif" width="450">
</div>

- 在实际排球比赛中运行结果如下图所示
<div align="center">
<img src="./videos/jian_1_25.gif" width="450"><img src="./output_videos/result_jian_1_25.gif" width="450">
</div>

- 针对以上两个视频我又加上的分数计算的功能，根据球场边界，将一些裁判排除在外然后根据是否落地是否跟人手接触球的方向发生了改变思路简单判断球赛的得分情况和球速实时显示。
```shell
CUDA_VISIBLE_DEVICES=0,1 python main_fast_score.py --input_video videos/jian_2_25.mp4 --output_video output_videos/result_jian_2_25_score.mp4 --input_fps 25
```
<div align="center">
<img src="./output_videos/result_jian_1_25_score.gif" width="450"><img src="./output_videos/result_jian_2_25_score.gif" width="450">
</div>

- 像这样排球比赛比较简单的情况运行效果还可以但是场景一复杂球速很快视角变化就会出现检测不准、跟踪失败等情况
<div align="center">
<img src="./output_videos/result_sai1_25.gif" width="450"><img src="./output_videos/video_result_yolo+moban.gif" width="450">
</div>

### 2、排球训练
- 除了用于排球比赛视频使用还可以在训练中使用，比如自己单独打排球的时候，相应的运行命令和运行结果为
```shell
CUDA_VISIBLE_DEVICES=0,1 python main_fast.py --input_video videos/danren_lianxi_25.mp4 --output_video output_videos/result_danren_lianxi_25.mp4 --input_fps 25
```
<div align="center">
<img src="./videos/danren_lianxi_25.gif" width="450"><img src="./output_videos/result_danren_lianxi_25.gif" width="450">
</div>

- 除了在排球上可以运用外也可以在篮球上进行运用
```shell
CUDA_VISIBLE_DEVICES=0,1 python main_fast.py --input_video videos/wang1.mp4 --output_video output_videos/result_wang1_60.mp4 --input_fps 60
```
<div align="center">
<img src="./videos/wang1.gif" width="450"><img src="./output_videos/video_result_wang新.gif" width="450">
</div>

### 3、体育课上排球训练得分

- 我们可以在排球体育课上用来做同学们练习排球的比赛得分计算使用，根据不同人的动作和标准视频动作的相似程度做相应的得分计算。以下命令可以生成一系列人体关键点的.pkl文件以及先攻的输出视频
```shell
CUDA_VISIBLE_DEVICES=0,1 python demo/output_keypoints.py --input_video videos/keypoints_1.mp4 --output_video output_videos/result_keypoints_1.mp4 --input_fps 29
```
<div align="center">
<img src="./videos/keypoints_1.gif" width="450"><img src="./output_videos/result_keypoints_1.gif" width="450">
</div>

最后显示表格这个地方也不知道咋地，写的有图片的表格在github或码云上不能显示在typora上能显示，就是这个东东：
<div align="center">
<img src="./images/biaoge.png" width="800">
</div>

那就直接用路径代替吧 :joy::joy::joy::joy::joy:

| 视频 | ./images/keypoints_1.png | ./images/keypoints_2.png | ./images/keypoints_3.png |
| ---- | ---- | ---- | ---- |
| 分数 | 100 | 88.47 | 91.38 |

以上也是我的本科毕设内容。

## Reference
- 目标检测：https://github.com/wizyoung/YOLOv3_TensorFlow
- 目标跟踪：https://github.com/STVIR/pysot
- 姿态估计：https://github.com/tensorboy/pytorch_Realtime_Multi-Person_Pose_Estimation
- 人脸检测：https://github.com/TencentYoutuResearch/FaceDetection-DSFD、https://github.com/dlunion/DBFace

lvchuandong/Intelligent-assistant-analysis-system-for-volleyball-game

简介

发行版

贡献者

近期动态

lvchuandong/Intelligent-assistant-analysis-system-for-volleyball-game .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

lvchuandong/Intelligent-assistant-analysis-system-for-volleyball-game