README.md · WaterQun/Depth2Uart_Realsense

# Depth2Uart

#### 双目测距------双目相机V1.0，将双目相机采集到任意一点的深度数据进行串口传输

---

## 一、项目说明/Overview

所实现的功能：基于Intel Realsense官方提供的SDK，双目深度相机能获取到相机任何一个像素点距离前方障碍物的距离（即深度信息），并将深度信息串口数据发送至其它设备。

这个版本都是基于物理层上功能的实现，双目相机在这个工程当中只是作为了一个传感器使用，而Linux设备端也只做了双目相机的载体以及对双目采集到的深度信息进行串口传输，没有使用任何基于视觉相关的算法。
所以，这个版本肯定不是我们用上嵌入式设备的最终代码，大家可以把这个当作双目相机的一个入门工程来学习。

## 二、设备环境/Hardware

![硬件连接](1.Hardware/硬件连接.jpg)

- 双目相机：能使用Intel Realsense SDK的深度相机均可实现功能，使用USB3.2的端口，这里我们使用的是Intel Realsense D435i深度实感相机；
- Linux设备：ARM64和X86均支持，需要有两个及以上的USB口，可以选择树莓派、NVIDIA Jetson系列等主机，测试使用的是Jetson Nano；
- 数据接收端: MCU系统，进行串口数据传输以及数据的使用，测试使用的是STM32进行串口数据接收。

## 三、使用方法/Usage

### 1、安装Ubuntu

推荐Ubuntu 20/22 LTS版本，要考虑后续Realsense SDK所需版本，Server版本也可以完成功能。

### 2、更换软件源

Ubuntu系统软件源默认是在国外的，下载安装后续软件会比较慢，建议更换国内软件源，推荐中科大源：http://mirrors.ustc.edu.cn/help/ubuntu.html ，同时后续安装ROS也可以使用中科大源/清华源。

### 3、安装ROS/ROS2

根据Ubuntu版本安装ROS/ROS2，安装方法可前往观看古月居/鱼香ROS相关视频，可使用一键安装脚本：https://github.com/fishros/install 。
本版本双目测距理论上不需要安装ROS系统，但安装ROS比较方便解决相关依赖，同时后续版本也会使用到就直接安装了。

### 4、安装Intel Realsense SDK

如出现问题可查看[Linux官方安装文档](https://github.com/IntelRealSense/librealsense/blob/master/doc/installation.md)

#### (1) 安装依赖

```
sudo apt-get install git libssl-dev libusb-1.0-0-dev libudev-dev pkg-config libgtk-3-dev libglfw3-dev libgl1-mesa-dev libglu1-mesa-dev
```

#### (2) 下载Intel Realsense SDK

```
git clone  https://github.com/IntelRealSense/librealsense.git
```

这行代码默认是下载的最新稳定版的SDK，现在只支持ROS2了，可以前往github仓库查看具体要求。
下载指定版本在git clone后加上-b，如Ubuntu20一般安装ROS，v2.50.0版本为支持ROS1的最后版本，就使用下面这个代码：

```
git clone -b v2.50.0 https://github.com/IntelRealSense/librealsense.git
```

而如果你使用ROS2，但需要同时使用T265等最新版本不再支持的相机，可以使用v2.53.1版本，为最后支持T265相机的版本:

```
git clone -b v2.53.1 https://github.com/IntelRealSense/librealsense.git
```

如果因为网络原因出现下载错误，可以去官方Github仓库下载源码，再unzip解压。

#### (3) 安装Intel Realsense SDK

```
cd librealsense
./scripts/setup_udev_rules.sh
mkdir build && cd build
cmake ..
make -j8
sudo make install
```

这里根据Linux设备设置编译线程数，树莓派等建议第五行改为make -j2，否则编译过程会死机。
测试可以输入命令 realsense-viewer，可以看到一个软件打开，可以在此测试相机是否正常。

### 5、编译depth2uart.cpp

复制depth2uart.cpp(项目Software文件夹下)到Linux设备，在所在目录打开终端，输入以下代码编译cpp文件，生成depth2uart可执行文件，部分硬件可能会报错，可以根据报错查看缺少什么库文件，在最末尾加上-l再输入库名称。

```
g++ depth2uart.cpp -o depth2uart -lrealsense2 -lboost_system
```

### 6、给串口添加权限

输入以下命令可查询串口所在USB口。

```
ls -l /dev/ttyUSB* 
```

默认是USB0，输入以下命令给串口添加权限，如果是其他USB则需要修改USB后面数字。

```
sudo chmod 777 /dev/ttyUSB0
```

### 7、运行depth2uart

```
./depth2uart 
```

可以看到输出摄像头最中央一点的深度信息，数据串口发送至MCU系统接收。

### 8、设置开机自启动

开机自启动有很多种方法，比如在rc.local文件添加命令，即可开机自己动，可以上网查询。
这里推荐命令行输入‘gnome-session-properties’通过gnome设置开机自启动。

## 四、软件说明/SoftWare

具体代码见 2.Software/depth2uart.cpp 。
这个工程功能实现的原理：

- 串口数据的传输使用的是C++中的Boost库，这也是步骤4中增加-lboost_system的原因，使用其中的asio库实现IO操作。
- 双目相机数据的采集使用的是Intel Realsense官方的SDK,可以前往[官方GitHub仓库](https://github.com/IntelRealSense/librealsense)查看学习。

## 五、后续/Questions

1. 在这个工程中，传输的数据是某一点像素对应的深度值，仅仅获取这个数据在我们的嵌入式系统并没有太多的效果，所以在最终上嵌入式系统时，一般都是双向数据传输，将MCU设备端获取到的数据传输至Linux主控中进行计算，最后返回计算出来的控制信号给MCU端进行控制。
2. 往Linux设备增加算法，CPU本身是能计算的，同时Jetson Nano等还配备“显卡”能够加速视觉计算，后续可以运行OpenCV视觉算法以及TensorFlow等深度学习算法，搭配控制系统进行更高级的运用……

WaterQun/Depth2Uart_Realsense

简介

发行版

贡献者

近期动态

WaterQun/Depth2Uart_Realsense .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

WaterQun/Depth2Uart_Realsense