# ekf-imu-depth

**Repository Path**: whitbyli/ekf-imu-depth

## Basic Information

- **Project Name**: ekf-imu-depth
- **Description**: 单目相机 + IMU 深度估计神经网络
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 1
- **Created**: 2022-10-03
- **Last Updated**: 2023-10-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 单目深度估计, 深度学习

## README

# DynaDepth

#### 介绍

DynaDepth 是 2022 年悉尼大学团队提出的基于卡尔曼滤波器将IMU与单目相机融合估计图像深度的神经网络架构，官方源码地址：https://github.com/SenZHANG-GitHub/ekf-imu-depth.git
这里，根据论文介绍的 IMU 运动估计原理，以 KITTI 数据集为例，以 Jupyter Notebook 形式，梳理了 IMU
运动估计的过程，详细了解请见 [imu_odometry.ipynb](imu_odometry.ipynb)

### 模型训练

模型训练使用 KITTI 官方原始数据集，训练及验证数据集选取了大约 4.4 万帧相机图像，具体选取的子数据集及对应图像帧见文件 `splits/eigen_zhou/train_files.txt` 和 `splits/eigen_zhou/val_files.txt`，对应于官方数据集序列为：
```bash
2011_09_26/2011_09_26_drive_0001_extract
2011_09_26/2011_09_26_drive_0005_extract
2011_09_26/2011_09_26_drive_0011_extract
2011_09_26/2011_09_26_drive_0014_extract
2011_09_26/2011_09_26_drive_0015_extract
2011_09_26/2011_09_26_drive_0017_extract
2011_09_26/2011_09_26_drive_0018_extract
2011_09_26/2011_09_26_drive_0019_extract
2011_09_26/2011_09_26_drive_0022_extract
2011_09_26/2011_09_26_drive_0028_extract
2011_09_26/2011_09_26_drive_0032_extract
2011_09_26/2011_09_26_drive_0035_extract
2011_09_26/2011_09_26_drive_0039_extract
2011_09_26/2011_09_26_drive_0051_extract
2011_09_26/2011_09_26_drive_0057_extract
2011_09_26/2011_09_26_drive_0061_extract
2011_09_26/2011_09_26_drive_0070_extract
2011_09_26/2011_09_26_drive_0079_extract
2011_09_26/2011_09_26_drive_0087_extract
2011_09_26/2011_09_26_drive_0091_extract
2011_09_26/2011_09_26_drive_0095_extract
2011_09_26/2011_09_26_drive_0104_extract
2011_09_26/2011_09_26_drive_0113_extract
2011_09_28/2011_09_28_drive_0001_extract
2011_09_29/2011_09_29_drive_0004_extract
2011_09_29/2011_09_29_drive_0026_extract
2011_09_30/2011_09_30_drive_0020_extract
2011_09_30/2011_09_30_drive_0028_extract
2011_09_30/2011_09_30_drive_0033_extract
2011_09_30/2011_09_30_drive_0034_extract
2011_10_03/2011_10_03_drive_0034_extract
2011_10_03/2011_10_03_drive_0042_extract
```
训练完成生成的模型保存至 `models` 

### KITTI 数据集深度信息生成
KITTI 数据集深度生成代码为 `generate_kitti_depth.py`，详细过程见 [imu_depth](imu_depth.ipynb)，这里生成 `2011_09_26/2011_09_26_drive_0009_extract` 数据集深度展示结果如下所示：

![depth_vedio](imgs/depth_video.gif)