赛后总结-编程(视觉).md · Stone/gk2020

[toc]

## 2020年广东省工科大学生综合实验技能竞赛总结

——树莓派上的编程及视觉识别

2020-12-8

### Introduction

列了提纲之后，觉得这篇总结更像是份心得，记录了我在这次项目中体会和收获。

在这里，因为视觉识别代码是运行在树莓派上的，因此讨论中涵盖的内容实际上包括了整个树莓派上Python代码的编写，以及树莓派的使用等。

### 项目结构更加规整

#### 合理的依赖关系

在树莓派上运行的Python代码的主要任务是，接收串口数据、执行对应任务，以及通过串口回传数据。由于对软件工程思想早有耳闻，去年也是想要把Python代码写得比较结构化的，尝试过算法分别封装，可以灵活替换。但是限于技术能力，对于包导入的理解不是很透彻，而且好像有过度封装的倾向，容易把本来很简单的事情搞得没必要的复杂。因此去年的代码中，除了独立的web模块和单文件的communication.py模块，识别+状态切换+串口读取+注释全写在一个文件（main.py）里，加起来近千行。这应该是我见过单文件代码行数最多的py文件了。

而今年的代码就要工整多了。首先是依赖关系的概念比较明确了，依赖关系应当是有层次的，即一层的代码可以调用底层或者同层的函数，而不应当涉及高层的代码，这有些类似于树形或者金字塔的形状，以一个颜色识别的例子简单说明：

在这个例子中，上层代码依赖于下层代码，即应用层依赖于OpenCV，而OpenCV又依赖于numpy。下一层是不知道上一层的存在的，也就是numpy不会调用OpenCV里的代码，OpenCV也不会调用主程序中的代码。但是对初学者而言，因为概念不清，就可能会出现模块之间相互调用，甚至底层代码调用上层代码的情况。

当然实际上会有很多例外，例如在GUI中常见到callback函数，就是底层调用上层函数的例子。上面这种层次，有助于我们在写代码的时候思考，代码应该怎样组织？我时常觉得，软件开发有时候就像是整理桌柜，把相似的东西收一起，把关系不大的东西分开放，最终的结果就是使桌面保持整洁、有序。

#### 依赖就是函数调用

上面提到了代码之间的依赖。个人观点，依赖就是模块间的函数调用。上层代码要用到底层模块的函数，因此少了底层模块，上层代码就运行不了，于是就形成了依赖。

顺便提下接口。在有些编程语言中，例如Java，接口是一项特性，程序员可以严格地定义一个接口，Python也部分地支持这类特性。但是平时经常看到接口这个词，却好像不是这个意思。个人认为，编程中，接口就是函数及其参数列表，就像对于一个三孔插座，我们应当用三脚插头来取电一样，对于一个函数，我们必须传入合理的参数，才能使用它的功能。而在面向对象编程中，接口还包括对象的属性等。总之，一旦我们知道了一个程序的接口是怎样的，我们就知道该如何去访问这个程序的功能。

我们通常采用模块化的思想将一个程序分割成较小的几个部分，模块与模块之间由接口（函数调用）连接为一个整体。

#### 项目的目录结构

基于这些理解，这次有了一个比较清晰的项目目录结构。最终要运行的程序，如视觉识别、音乐播放以及主程序（main.py）等，与具体任务高度相关，应当属于应用程序，全部集中到/robot目录中。在这里，约定项目根目录为/，因此/robot为项目根目录下名为robot的文件夹，后面的目录也采用这个约定。

有一些功能与具体任务没有耦合，完全独立，复用性很好，如通信协议，主要负责串口收发和文本解析，不仅在这个项目中被用来简化数据交换，在另一个不相关的项目中也完全可以直接拿来用。这类代码比较适合设计成库代码，就像OpenCV一样。此外，在开发过程中免不了要学些新的知识，跟着教程写点代码跑一下，这些学习性质的代码就集中在/experiments文件夹中。独立于应用程序，还可能开发一些小工具，例如串口绘图等，这类工具，与主程序运行无关，但是项目中可能用到，就都放在/debug_tools中了。

#### 如何导入自己编写的代码库

以通信协议为例，应用层应导入的是Python模块 /communication/python/communication.py。正如OpenCV不属于标准库，需要安装后才能使用，由于communication.py不在/robot目录下，/robot中的程序要想import communication，也需要一些相当于安装的步骤。有很多方式可以实现这一点，例如把communication.py放到site-packages文件夹（python第三方库安装目录）下。《Python高级编程》建议将程序中的模块设计成发行包，以便于部署。也可以写个脚本，把/communication/python加入到PYTHONPATH环境变量。这些方法都要在运行代码前要做些操作。由于项目中文件的相对路径是确定不变的，我的做法是编写一个settings.py，在这个文件中利用\_\_file\_\_变量解析出自身所在目录的绝对路径，然后组装出所在机器上，/communication/python的绝对路径，然后将该绝对路径加入到sys.path中。上述具体操作请看/robot/settings.py，在/robot目录下的程序，入main.py，import settings之后，即可import communication。这种做法感觉有些僵硬，在导入自己编写的库时，必须最先导入settings.py，而且/robot子目录的代码无法导入父目录的settings.py。但是麻烦是留给开发者（也就是我）的，这些限制带来只是些小麻烦，而对于其他队友来说，复制了代码之后就能直接运行了，节省了大量的时间。实际上，对于开发者来说，把在Windows上代码复制到树莓派上测试，能直接运行也是要方便很多的。

当然，目前还有些相对导入和绝对导入之类的小问题我还没整明白，给测试带来很多痛苦。

### 软件结构更加完整

#### 任务框架

这次终于如愿以偿实现了一个（非常非常简单的）任务框架，可以通过指令切换任务。指令是一个字符串，而任务是一个对象。任务有两类：切换后只执行一次的action和切换后重复执行的loop。这样main.py就是非常简单的“接收串口-切换（执行）任务-发送串口”的三步循环，其中可能频繁改动的只有指令到任务的映射（利用字典实现）。视觉识别、播放声音等都在另外的文件中封装成任务，然后在main.py中导入，从而实现了模块化。要添加新的任务也很简单，只需新建一个文件，封装好任务，然后在main.py中导入即可，灵活方便。

当然，由于框架简单，功能非常单一，只有切换和执行任务两个功能，且一次循环只能执行一个任务，不能并行执行多个任务。在后来的使用中发现还有其他一些功能需求（但是我忘了是什么T^T）。不过目前的项目能用上这么结构化的设计，我已经很满意了(\*^\_^\*)

#### 通信协议有了C语言版本

除了单片机开发以外，就只有今年学数据结构那短暂几天用过C语言，目前对C语言的掌握还很粗浅。不过暑假看过凌明老师的课程，之前也有过使用C字符串标准库的经历，一些基本概念的的掌握还算是够用的。去年工科比赛，针对MCU与树莓派的串口通信，我们定义了\<pos=42,51\>这样基于ASCII纯文本的数据帧格式，我们称之为“通信协议”。但是有个遗憾，就是没有实现C语言版本的实现。Python由于字符串处理很方便，所以很容易就可以实现这个简单的协议，但是C语言只有字符串标准库可以用，实质上是数组操作，很麻烦。正好今年时间不紧，暑假里C语言的水平也有些小补，补完C语言版本的实现诱惑着我。于是，大约在国庆的时候，我又读了遍《C Primer》中字符串和存储时期那两章，便开始着手这项工作。

这次通信协议C语言实现的编写，个人觉得进步在于比之前更加工程化。先是花了很多时间在纸上设计整个通信的流程、数据结构和接口，然后才开始写代码。再者是写了很多测试，印象里应该是每个函数都测试过了。美中不足的是，测试仅仅是简单print相关的值，然后人工检查这些值是否正确。当写到后面，不得不修改之前写的函数时，就得重新运行对应函数的测试，然后重新人工检查输出值是否正确，重复劳动，如果使用测试框架则会方便很多。

### 还有一些想法没来得及实现

大四除了一门实验课和一门专业课之外，就只有几门水课，作业极少。除了找工作花了点时间之外，其实有大量自由的时间。然而我却没有好好珍惜，写完通信协议之后就几乎撒手不管，最后一个星期即使连续熬夜也无力回天。因为时间紧迫，还有一些想法胎死腹中，这里罗列一下，当作备忘，也许学弟看到之后能帮我实现吧（学妹也可以）。

#### 多进程、多线程与web上位机

多线程的特点是资源共享，但是要避免同时修改同一变量，很伤脑筋；而多进程的特点是资源独立，不需要保护变量，但是进程间的通信麻烦。在Python中（CPython），只有多进程能利用CPU的多个核心。

在OpenCV中，VideoCapture.read()是阻塞的，要在读取完一帧图片后才可以继续执行下一步，属于IO密集型任务。若是可以把摄像头的读取放到另一个线程中，则可以在运行视觉算法的同时就读取下一帧图像，可以提高算法的帧率。类似的，利用pyserial读取串口也存在这个问题。pyserial的Serial.read()同样是阻塞的，在串口没有接收到数据的时候，Serial.read()函数要经过一段超时才会返回。一开始没留意，把这个读超时设为0.1s，后来发现整个算法速度只有6帧/秒左右，一帧耗时0.136s，我恍然大悟，把串口的读超时改小为0.01s，算法立刻就提速到二、三十帧每秒。但是读超时太小又会造成读到的数据不完整。

另一方面，去年识别视频的网页显示的服务器是完全独立的程序，视觉算法中要做的是把本要用imshow()显示的图片用imwrite()保存在指定位置。这一次我打算把这个服务器作为整个/robot的一个可启用/禁用的组件。这个服务器要向网页端持续发送视频数据，应当属于计算密集型任务，为了减少对识别算法的影响，放在另一个进程比较合适。为了提高性能，可以利用共享内存来传输要显示的图片。我搜索了之后发现Python 3.8引入的shared memory功能可以方便地共享numpy数组。

我尝试用Flask写了个最基本的服务器，尝试用multiprocessing.Process 把它放到另一个进程里。在Windows上运行失败，但是在树莓派上却运行成功，这说明操作系统之间是有差异的。因为时间吃紧，所以直接放弃掉了整个web功能。而为了减少麻烦，识别算法也没有采用多线程。在后续的开发中，把读取摄像头和串口放到另一个线程中是个值得研究的问题。

### 一些心得

#### 有点写算法的感觉了

此前一直在研究怎么调用OpenCV的API，虽然尽力理解了其中的原理，但是并没有做算法的感觉。而这次尝试识别交通灯，除了直接调用API，还编写了选取roi，根据灯的位置的变化来识别灯色的程序，而这些，都是要经过一定数量的步骤才能实现的。编写这些步骤的代码的时候非常难受，但是一旦写完且有效果良好的时候，则感到身心十分的舒畅。这时，我才终于有种写算法的感觉。

#### 程序的容错

对于树莓派上的Python程序，最担心的是在比赛中程序报错，然后崩溃退出，这样机器人就没法运行了。对此有两个解决思路，一个是程序退出后自动重启，另一个就是确保程序不会崩溃退出。对于后者，我没有太多经验，但是有一点体会，就是if语句总是要写else。可以利用集合论的观点来思考，所有输入的集合看作全集，一条if分支对应其中的一部分输入，我们经过运算给出输出，但是还有剩下的一部分输入我们没有定义应该输出什么，而else分支恰是对应这些剩下的输入的。因此使用if语句时，一定要考虑是否需要写else分支，以保证对于所有的输入都有恰当的输出。

#### 关于测试

去年尝试学了Python标准库里的unnitest，跟着教程写了几个TestSuite，但是对于什么是测试，以及如何编写测试，并不清楚。

而这次编写C语言版本的从comunication，对每个函数都测试过之后，我才有点感觉，原来，所谓测试，就是给定输入检查程序是否会出问题。如果向被测函数传入一个值，结果没有出错，那么有理由相信，在实际使用中，向这个函数传入这个值也不会出错。假如在测试中向被测函数传入一个值，结果出错了，说明被测函数有缺陷，应当改正，从而能够输出正确结果。

有时候，我们写程序只考虑到了正常的情况，而忽略了很多边界情况，例如，一个程序正常的输入值可能是几十到几百，那假如我们输入一个非常大的数，一百万，程序会输出什么？输入一个负数，程序会出错吗？输入0呢？一个好的程序应当能够正确处理不合法的输入。因此通过测试，我们能够及时发现缺陷，从而尽早修复，而不是等软件交付给用户之后，才发现问题。

Stone/gk2020

简介

发行版

贡献者

近期动态

Stone/gk2020 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

Stone/gk2020