README.md · 2020013959-04-谢明欣/Facenet人脸识别

### 介绍：
&emsp;&emsp;2022年第四届全国高校计算机能力挑战赛大数据与人工智能挑战赛初赛。
### 解决思路和数据处理方法：
&emsp;&emsp;采用深度学习的方法完成本次比赛，先对数据进行预处理，之后采用facenet模型训练与预测（模型和代码的参考列在附录中）。
#### 一、首先对图像进行预处理：
**1.数据降噪(newdisnoise.py)**：因为图片含有噪声（主要为椒盐噪声），因此先对数据进行降噪处理，因为较小的图片噪声较大，将尺寸不足256的图片resize为125尺寸，较大的图片保留原尺寸，采用3*3尺寸的均值滤波和5*5尺寸的中值滤波对数据降噪，获得较好的结果。  
**2.数据增强(strong.py)**：将为同一张人的图片进行昏暗和增亮操作，增加数据集大小。  
**3.人脸对齐(proper.py、proper2.py)**：对降噪后的数据进行对齐操作，成功检测到1090多个人脸并转正，转正后的图像为112尺寸。  
**4.整合**：将未对齐的图片缩放到112尺寸，并与对齐的图片按照训练格式放入一个文件夹。  
#### 二.训练facenet模型并预测：
在已有模型代码的基础上，更改参数，并编写预测文件(test.py)，结果放入result中。

##### 算法模型简要介绍：
**1.Facenet简介：**  
&emsp;&emsp;谷歌人脸识别算法，发表于 CVPR 2015，利用同一人脸在不同角度姿态下的照片具有高内聚性，不同人脸的照片具有低耦合性的原理，提出使用 **cnn + triplet mining** 方法，在LFW数据集上准确度达到 99.63%。FaceNet是直接利用triplet loss训练模型输出128维的特征向量，triplets是由来自于一人的两张人脸图像和来自于另一个人的第三张图像组成，训练的目的是来自于同一人的人脸对之间的欧式距离要远小于来自于不同人的人脸对之间的欧氏距离。使用CNN将人脸映射到欧式空间的特征向量上。因为实际上不同图片人脸特征的距离较大，通过相同个体的人脸的距离总是小于不同个体的人脸这一先验知识训练网络。测试时只需要计算人脸特征EMBEDDING，然后计算距离使用阈值即可判定两张人脸照片是否属于相同的个体。  
**2.主干网络介绍：**  
&emsp;&emsp;本实验一共提供了两个网络作为主干特征提取网络，分别是**mobilenetv1**和**Inception-ResNetV1**，二者都起到特征提取的作用。本实验会使用**mobilenetv1**作为主干特征提取网络。
&emsp;&emsp;MobilenetV1模型是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，其使用的核心思想便是depthwise separable convolution（深度可分离卷积块），其结构如下链接所示:  
**https://img-blog.csdnimg.cn/20210524224617563.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjOTg3NjU0MzIxMA==,size_16,color_FFFFFF,t_70**  
**3.构建分类器（用于辅助Triplet Loss的收敛）:**  
&emsp;&emsp;若仅用**Triplet Loss**会使得整个网络难以收敛，本实验结合**Cross-Entropy Loss**和**Triplet Loss**作为总体**loss**。  
&emsp;&emsp;**Triplet Loss**用于进行不同人的人脸特征向量欧几里得距离的扩张，同一个人的不同状态的人脸特征向量欧几里得距离的缩小。  
&emsp;&emsp;**Cross-Entropy Loss**用于人脸分类，具体作用是辅助Triplet Loss收敛。  
&emsp;&emsp;想要利用Cross-Entropy Loss进行训练需要构建分类器，因此我们在原网络的最后增加一个全连接层用于分类。  
**4.均值滤波：**  
&emsp;&emsp;均值滤波也称为线性滤波，其采用的主要方法为邻域平均法。线性滤波的基本原理是用均值代替原图像中的各个像素值，即对待处理的当前像素点，选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，
再把该均值赋予当前像素点，作为处理后图像在该点上的灰度。  
**5.中值滤波：**  
&emsp;&emsp;中值滤波采用非线性的方法，它在平滑脉冲噪声方面非常有效,同时它可以保护图像尖锐的边缘，选择适当的点来替代污染点的值，所以处理效果好，对椒盐噪声表现较好，对高斯噪声表现较差。  
**6.人脸对齐：**  
&emsp;&emsp; 首先通过MTCNN检测到人脸的五个关键点，检测出人脸区域，并得到landmarks关键点坐标和检测框坐标，再把原图中人脸区域外扩，然后对该外扩后的区域重新得到关键点，利用人脸的五点仿射变换实现人脸对齐。  
**7.数据增强：**  
&emsp;&emsp; 昏暗操作：通过改变图像的亮度，进行昏暗，亮度降低操作，增加数据集的大小。  
&emsp;&emsp; 增加亮度：通过改变图像的亮度，进行亮度的调整 ，增加数据集的大小。

#### 模型实现过程的详细步骤说明：
【注】为了防止目录重复创建，方法中的一些代码不支持创建已经存在的目录，若遇到创建目录重复的错误提示，需手动删除目录中所有的文件后再执行.py程序。中间文件已经存在了code文件中，train.py和test.py可以直接运行。因为我们的代码是不断优化改进出来的，因此可能会有部分冗余代码和操作。
1.将文件所给的数据集前480条复制到data/train目录里面，后面的120条复制到data/test目录里面。  
2.使用newdisnoise.py文件，将降噪后的数据另存为data/.../e.jpg。  
3.运行trans.py，将降噪的数据整合到alldata2中，这样也方便查看降噪的效果。  
4.运行proper.py，对齐后的数据存放在norm2中，手动删除识别对齐后五官不全的图片。  
5.运行trans2.py，按照一定的格式将降噪后的同一个人的数据存储到nonoise中。  
6.使用strong.py对nonoise目录中的图片进行数据增强，结果存储到nonoisestrong中。  
7.复制nonoisestrong目录，新目录名称为nonoisestrong1。  
8.运行proper2.py，将对齐后的图片替换nonoisestrong1的原图片。  
9.运行resize.py，调整nonoisestrong1中图片大小。
10.运行trans3.py将对齐的和未对齐但调整大小的不带数据增强的图片整合按输入格式写入new中。  
11.将目录nonoisestrong1的图片复制到datasets中作为facenet网络的训练输入，将目录new的图片复制到norm2目录下作为facenet网络的测试输入（因为最初预处理和模型训练是在两个目录下编写的）。
12.运行txt_annotation.py标记datasets。  
13.运行train.py训练网络。  
14.修改facenet.py的模型路径，运行test.py预测。

**运行的环境：**  
pycharm version: 17.0.4+7-b469.53 amd64

**附录：**  
detect_face.py：参考https://www.cnblogs.com/cheungxiongwei/articles/7638731.html和https://github.com/seetaface/SeetaFaceEngine

### Facenet：人脸识别模型在Pytorch当中的实现
---

#### 目录

1. [仓库更新 Top News](#仓库更新)
2. [相关仓库 Related code](#相关仓库)
3. [性能情况 Performance](#性能情况)
4. [所需环境 Environment](#所需环境)
5. [注意事项 Attention](#注意事项)
6. [文件下载 Download](#文件下载)
7. [预测步骤 How2predict](#预测步骤)
8. [训练步骤 How2train](#训练步骤)
9. [参考资料 Reference](#Reference)

#### Top News

**`2022-03`**:**进行了大幅度的更新，支持step、cos学习率下降法、支持adam、sgd优化器选择、支持学习率根据batch_size自适应调整。**  
BiliBili视频中的原仓库地址为：https://github.com/bubbliiiing/facenet-pytorch/tree/bilibili

**`2021-02`**:**创建仓库，支持模型训练，大量的注释，多个可调整参数，lfw数据集评估等。**

#### 相关仓库

#### 性能情况

|  训练数据集   |                         权值文件名称                         | 测试数据集 | 输入图片大小 | accuracy |
| :-----------: | :----------------------------------------------------------: | :--------: | :----------: | :------: |
| CASIA-WebFace | [facenet_mobilenet.pth](https://github.com/bubbliiiing/facenet-pytorch/releases/download/v1.0/facenet_mobilenet.pth) |    LFW     |   160x160    |  98.23%  |
| CASIA-WebFace | [facenet_inception_resnetv1.pth](https://github.com/bubbliiiing/facenet-pytorch/releases/download/v1.0/facenet_inception_resnetv1.pth) |    LFW     |   160x160    |  98.78%  |

#### 所需环境

pytorch==1.2.0

#### 文件下载

已经训练好的facenet_mobilenet.pth和facenet_inception_resnetv1.pth可以在百度网盘下载。    
链接: https://pan.baidu.com/s/1K20hyxU_UgSej1eZWih0Ag 提取码:anv6

训练用的CASIA-WebFaces数据集以及评估用的LFW数据集可以在百度网盘下载。    
链接: https://pan.baidu.com/s/1qMxFR8H_ih0xmY-rKgRejw 提取码: bcrq

#### 预测步骤

##### a、使用预训练权重

1. 下载完库后解压，在model_data文件夹里已经有了facenet_mobilenet.pth，可直接运行predict.py输入：

```python
img\1_001.jpg
img\1_002.jpg
```

2. 也可以在百度网盘下载facenet_inception_resnetv1.pth，放入model_data，修改facenet.py文件的model_path后，输入：

```python
img\1_001.jpg
img\1_002.jpg
```

##### b、使用自己训练的权重

1. 按照训练步骤训练。  
2. 在facenet.py文件里面，在如下部分修改model_path和backbone使其对应训练好的文件；**model_path对应logs文件夹下面的权值文件，backbone对应主干特征提取网络**。

```python
_defaults = {
    "model_path"    : "model_data/facenet_mobilenet.pth",
    "input_shape"   : (160, 160, 3),
    "backbone"      : "mobilenet",
    "cuda"          : True,
}
```

3. 运行predict.py，输入

```python
img\1_001.jpg
img\1_002.jpg
```

#### 训练步骤

1. 本文使用如下格式进行训练。

```
|-datasets
    |-people0
        |-123.jpg
        |-234.jpg
    |-people1
        |-345.jpg
        |-456.jpg
    |-...
```

2. 下载好数据集，将训练用的CASIA-WebFaces数据集以及评估用的LFW数据集，解压后放在根目录。
3. 在训练前利用txt_annotation.py文件生成对应的cls_train.txt。  
4. 利用train.py训练facenet模型，训练前，根据自己的需要选择backbone，model_path和backbone一定要对应。
5. 运行train.py即可开始训练。

#### 评估步骤

1. 下载好评估数据集，将评估用的LFW数据集，解压后放在根目录
2. 在eval_LFW.py设置使用的主干特征提取网络和网络权值。
3. 运行eval_LFW.py来进行模型准确率评估。

#### Reference

https://github.com/davidsandberg/facenet  
https://github.com/timesler/facenet-pytorch

2020013959-04-谢明欣/Facenet人脸识别

简介

发行版

贡献者

近期动态

2020013959-04-谢明欣/Facenet人脸识别 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

2020013959-04-谢明欣/Facenet人脸识别