R-CNN: 本项目对<Rich feature hierarchies for accurate object detection and semantic segmentation >论文中提出的R-CNN网络进行实现(基于PyTorch) ,使用的数据集是PASCALL_VOC_2007.py版本为3.7,pytorch版本为1.10.2

# R-CNN demo

article: Rich feature hierarchies for accurate object detection and semantic segmentation

site from : https://www.bilibili.com/video/BV1d64y1W74E/?spm_id_from=333.880.my_history.page.click&vd_source=b592fd0fd3bd041bab6398e89668385d

![image-20221024145038114](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221024145038114.png)

![image-20221024145254503](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221024145254503.png)

- 候选框的缩放

![image-20221024145626066](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221024145626066.png)

## 1. datasets下载

**获取PASCAL2007**(下载慢可能需要科学上网)

pascal_voc_data.py

```python
import cv2
import numpy as np
from torchvision.datasets import VOCDetection

"""
数据集的下载
"""

if __name__ == "__main__":
    datasets = VOCDetection("./data", year="2007", image_set='trainval', download=False)
    # 查看dataset中图片数量
    print('the pic count num is'.format(len(datasets)))

# 取出其中一个sample来看看
    item_id = 1
    img, target = datasets.__getitem__(item_id)
    print("the image {}'s target is \n {}".format(item_id, target))

# 查看图像
    cv2.imshow('image{}'.format(item_id), np.array(img))
    # 阻塞等待,以免闪退
    cv2.waitKey()
```

```tiki wiki
这里的datasets的__getitem__会根据传入的id返回一张图片以及对应的target

```

下载完成后

目录结构如下

![image-20221027161638436](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027161638436.png)

其中SegmentationXXX为语义分割的数据集,这里不做据介绍

- JPEGImages

该目录下保存了所有的图片,共(5011张)

![image-20221027164914288](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027164914288.png)

- annotation

![image-20221027161802496](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027161802496.png)

![image-20221027165836066](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027165836066.png)

- ImageSets

![image-20221027170821163](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027170821163.png)

其下有三个文件夹(Segmentation为语义分割相关的,这里不做介绍)

1. layout:

2. Main

保存了每中类型的图片信息,这些文件根据前缀是否相同,

分成三个一组三个文件(分别是总文件`XXX_trianval.txt`,训练集`XXX_train.txt`,测试集`XXX_val.txt`)

每组文件中的`XXX_trianval.txt`记录了所有的文件信息,共5011张

每组文件中的`XXX_trian.txt`记录了部分的文件信息,共2501张图片

每组文件中的`XXX_val.txt`记录了部分的文件信息,共2510张图片

即,训练集与测试集比例接近1:1

![image-20221027171132244](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027171132244.png)

##  2. 数据集预处理

![image-20221027170701561](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027170701561.png)

根据论文所提到的算法流程我们需要做的事情如下:

1. 抽取数据集中的任何一个类别的数据,作为训练对象.(将这种训练的过程重复进行N(ps:N代表类别数)次)

由于`ImageSets/Main`下所有的分类`XXX_train.txt`与`XXX_val.txt`其使用的train,val的图片都是相同的,唯一不同的是每张图中是否有相应分类的东西(有为1没有标签为-1),

![image-20221027200617312](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221027200617312.png)

我们现在需要对每个分类创建一个文件夹,其中有trian和val,这两个目录中都有anno,JPEGImage,以及xxx.csv(保存的是数据集的图片名)

![image-20221028103648353](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221028103648353.png)

`代码见pascal_voc_data_Split2TrainVal.py`

运行main函数后会形成如下

![image-20221028103742975](https://woldier-pic-repo-1309997478.cos.ap-chengdu.myqcloud.com/image-20221028103742975.png)

2. 对得到的每个分类的数据进行二分类处理(用于fine tune)

在训练过程中,我们为每一个分类创建一个目录`VOC_XXX_classifier`,目录中保存了该分类图片的正例与负例信息(这些候选框的坐标信息来自于3中通过`SelectiveSearch`生成的,并通过IOU决定哪些是负例),对于每一张图片我们都要给出他的正例对应的坐标以及负例对应的坐标`00XXX_0` `00XXX_1`其中`_0`代表负例, `_1`代表正例
`详见第三小结`

##  3. Selective Search

区域选择算法实现,用户产出2000个region proposal

`selective_search.py`

```python
 ss = get_selective_search()

img = cv2.imread(r'C:\Users\wang1\PycharmProjects\R-CNN-Demo\data\VOC_dog\train\JPEGImages\000036.jpg', cv2.IMREAD_COLOR)
    config(ss, img, strategy='q')
    # 得到region proposal
    rect = get_rects(ss)
```

这里的rect 即为得到的候选框

我们要做的大概就是三步:

1. 实例化 cv2的selective search(实例化的对象我们后面简称gs)
2. 传img,strategy,配置gs
3. 通过`get_rects`方法得到region proposal

此方法的缺陷是使用cpu进行运算,耗时较长.

## 4. 计算IOU用于fine tuning

代码参见`pascal_voc_TrainVal2Classifier_data.py`
对于`data/VOC_XXX`生成对应的`data/VOC_XXX_clasifier`其中的`Annotation`文件夹保存对应图片的正例信息和负例信息(正例来资源xml文件标注,负例通过selective search生成的候选框与原框iou计算得到).

woldier/R-CNN

简介

发行版

贡献者

近期动态

woldier/R-CNN .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

woldier/R-CNN