GraspAndDetect: 个人项目：QT应用程序，目标检测+机械臂抓取

# 视觉机械臂抓取应用程序

## 需求分析 ![本地路径](draw/需求分析.png)

软件目标：通过摄像头对目标物体进行检测，控制机械臂完成抓取或实时渲染仿真机械臂抓取以及相关信息

功能需求：
                视觉模块：通过OpenCV打开摄像头读取视频帧保存并渲染至QLabel上

机械臂控制模块：接收并转换检测坐标，发送机械臂控制指令

通信模块：通过通信协议(具体看机械臂支持)实现与机械臂的连接。定义相关指令，根据指令数据完成机械臂控制

应用程序界面：
                        ①视频窗口显示
                        ②上位机控制，提供虚拟机械臂渲染按钮弹出渲染子窗口

其他需求：
                日志数据模块：读取记录各个模块的重要数据信息，提供对应接口显示在上位机信息窗口

多线程设计：
                        视觉模块线程独立运行，如果开始检测则要与机械臂控制线程同步。

通信模块需要异步运行，持续与机械臂保持通信

虚拟渲染线程如果有机械臂连接则要状态同步

## 概要设计
![本地路径](draw/总体结构图.png)

主应用窗口分为画面显示和上位机两个子窗口。仿真系统虚拟机械臂渲染作为子窗口可选择

数据结构：
                抓取目标数据结构(struct GraspTarget)：包含物体的位置、大小、形状等信息。

机械臂状态结构(ArmStatus)：记录机械臂的关节位置、状态（空闲/忙碌）、当前动作等信息。

图像帧数据结构(struct ImageFrame)：存储从摄像头获取的图像帧、处理后的图像数据。

通信协议结构(struct CommunicationPacket)：描述上位机与机械臂之间通信时使用的消息格式

日志记录数据结构 (LogEntry)
![本地路径](draw/数据流图.PNG)
各个模块通过这些数据结构进行流通

![本地路径](draw/二级结构图.PNG)

## 详细设计
TODO：二级结构图对应的功能流程图

### 视觉模块
视觉模块主要读取摄像头的图像帧并保存，如果需要检测则处理图像帧
![本地路径](draw/视觉模块_读取并保存图像帧.PNG)
![本地路径](draw/处理图像帧.PNG)

## 功能开发
TODO：
### 视觉模块(Vision类实现)
        属性：
                使用OpenCV打开摄像头并保存图像帧
                
                循环缓冲区类FrameBuffer：通过双端队列实现，用于存储一段时间的图像帧

方法：
        
### 机械臂通信模块(RobotCommunication类实现)
        使用Qt的QSerialPort类来完成串口的通信，对下位机约定的指令通过函数实现。需要注意的是进制的转换以及大小端序的发送，其他根据串口通信的约定划分起始位、数据位、校验位和停止位即可，具体可以通过串口调试先进行测试，然后再开发。

### 机械臂控制模块(RobotControll类实现)
        基于通信模块提供用户友好的接口，使得以直白的操作逻辑去控制机械臂。首先需要完成机械臂运动学的正逆解，从而能够完成机械臂坐标系坐标到各个舵机角度能够求解，进而将角度作为参数通过通信模块完成控制。
理论基础：
        点的位置可用一个矢量来表示，物体的姿态可用一个矩阵(旋转矩阵)来表示。只要机械臂有足够的自由度，则可用执行任意姿态的操作，而对于简单的平面抓取，只考虑目标物体的点位置(x,y,z)。

映射-坐标系的转换：机器人学的许多问题需要不同的参考坐标系来表达同一个量。
                平移坐标系的映射：当两个坐标系的姿态相同时，如果希望以坐标系{A}来表达坐标系{B}中的某个空间点，则只需要通过矢量相加完成坐标系的平移映射即可
                旋转坐标系的映射：只要坐标系{A}与坐标系{B}的旋转矩阵是已知的，任意姿态可用由旋转矩阵相乘来转换

其他姿态表示：
                X-Y-Z固定角坐标系：将坐标系{B}和{A}重合。然后将{B}绕{A}的X、Y、Z轴依次旋转角度来表示
                Z-Y-X欧拉角：不同于上面，这种表示是直接以{B}的轴为准进行转动

机械臂描述：
                机械臂由一系列刚体通过关节连接而成的运动链，这些刚体称为连杆，连接点为关节。
                连杆的运动参数由连杆两端关节轴的相对关系决定：连杆的长度a和连杆转角α
                连杆链中的中间连杆：沿两个相邻连杆公共轴线方向的距离用连杆偏距d描述，两相邻连杆绕公共轴线旋转的夹角用关节角θ描述
                对于运动链中的末端连杆参数习惯设定为0，常以固定基座为连杆0，第一个可动连杆为连杆1，依次类推

连杆参数(DH参数)：机器人的每个连杆都可以用四个运动学参数来描述，其中两个参数用于描述连杆本身，另外两个参数用于描述连杆之间的连接关系。对于转动关节，θ为关节变量，其他三个参数是固定的；对于移动关节，d为关节变量，其他三个固定

连杆附加坐标系：描述每个连杆与相邻连杆之间的相对位置关系
        
        机械臂运动学：
                基坐标系{B}:机械臂的底座，固定在机械臂的精致位置，连杆0
                工作台坐标系{S}:执行任务的空间坐标系，机器人的所有运动都是相对于它来执行的
                腕部坐标系{W}:附着在机械臂的末端连杆，可用简单视为手腕部分
                工具坐标系{T}:末端夹爪工具，通常根据腕部坐标系来确定
                目标坐标系{G}:机器人移动工具时对工具位置的描述

正运动学：通过连杆DH参数求出连杆n相对于连杆0(底座)的位置和姿态
                逆运动学：通常是通过末端连杆n(x,y,z)来逆向求出各个连杆的DH参数，从而控制机械臂运动
                  首先，进行坐标变换求出相对于基座坐标系{B}的腕部坐标系{W}
                  然后，引用逆运动学求关节角
                        解是否存在完全取决于机械臂的工作空间：机械臂末端执行器所能到达的范围
                        多重解问题：需要根据需求和现实条件限制解，以求得唯一
实践：
        输入:(x,y,z)-->SolveIK逆解-->输出：Arm4Angle angle2Ai(a1,a2,a3,a4)获得四个连杆的角度
        将Arm4Angle angle2Ai(a1,a2,a3,a4)对应的角度转换成机械臂控制所需要的参数即可：
                  a1->A1连杆底部固定为90
              ID5:a2->A2(大臂)连杆在水平面映射的角度
              ID4:a3->A3连杆(肘部)
              ID3:a4->A4连杆(腕部)
        
        因为四自由度的逆解算法限定α=a2+a3+a4取值(90,180]，即默认夹爪末端操作维度固定于工作平面，所以控制模块得满足该限制
        工作空间(POSE)：-32<x<32  0<=y<26 0<=z<=28

上位机：通过槽函数调用控制和通信模块提供的结构，相应各个按钮的需求

## 测试

## 维护与扩展

单例模式（Singleton Pattern）：
        用于确保系统中的某些关键组件（如日志记录器、摄像头控制模块）只有一个实例，并提供全局访问点。
适用于你的日志记录和数据监控模块。

工厂模式（Factory Pattern）：
        可以用于创建不同的对象，例如基于虚拟机械臂或现实机械臂的控制器对象。根据不同的硬件状态（是否连接到真实机械臂），工厂模式可以动态创建正确的控制器对象。

观察者模式（Observer Pattern）：
        适合用于机械臂状态变化的通知。你的系统可能需要多个模块同时接收机械臂状态的变化，例如视觉模块需要知道抓取是否成功，应用程序界面也需要同步显示信息。

策略模式（Strategy Pattern）：
        可以在抓取策略或目标检测算法的切换上应用。不同类型的物体可能需要不同的检测或抓取策略，策略模式可以让你灵活切换这些算法而不影响系统的其他部分。

生产者-消费者模式：
        你已经在解码和渲染数据同步中使用了这种模式，它同样适用于在抓取任务中不同模块间的数据流，如视觉模块与机械臂控制模块的协调。

适配器模式（Adapter Pattern）：
        当你需要将不同的硬件接口（虚拟和真实机械臂）整合到统一的接口中时，可以使用适配器模式，确保系统使用相同的接口与不同的机械臂进行通信。

刘伟炜/GraspAndDetect

简介

发行版

贡献者

近期动态

刘伟炜/GraspAndDetect .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

刘伟炜/GraspAndDetect