人工智能分拣机器人视觉实验平台
 
硬件组成
 
实验平台逻辑结构如下图所示：
 
特点和优势
 
（1）支持两种开发环境。实验软件提供jupyter notebook和VS2015两种开发环境，其中jupyter notebook采用Python编程语言，VS2015采用C++编程语言，用户根据实际需要选择，可满足不同院校的教学要求。
 
（2）源代码开放。开放全部软件框架和算法级源代码，学生可在代码层面，通过调参、代码填充等方式进行应用和验证性质的课程基础实验，也可参考实验指导书，自行编写代码，进行相对复杂的项目实验。教师则可依托该平台，进行深度的二次开发。
 
系统主要功能模块
 
（1）边缘计算终端
 
边缘计算终端采用NVIDIA公司的Jetson Nano处理器，该处理器具备GPU运算功能，既可作为边缘计算终端（即小型电脑）使用，也可进行基于深度学习的数字图像处理相关的分析和运算。通过在处理器中部署视觉系统SDK、Python和OpenCV等相关软件和框架，以及与外接设备的通讯协议，学生即可完成从视觉系统硬件搭建、图像采集、图像处理，到实验流程设计与论证，再到视觉系统和外部设备的联动控制等一系列功能，无需另外配置电脑。
 
边缘计算终端主要技术参数如下：
 
 
 
处理器：64位四核CORTEX-A57，128核MAXWELL GPU；
 
 
内存：4GB LPDDR，板载存储：64GB；
 
 
接口：USB3.0×4，Micro USB×1， HDMI×1，RJ45×1，DC5.5×2.1电源接口；
 
 
集成Linux、Python等运行环境，支持数字图像处理、机器视觉、深度学习等算法、硬件、应用的开发和学习。
 
 
视觉系统结构：
 
 
 
视觉系统主要硬件如下：
 
1）工业相机
 
 
 
传感器型号：Sharp RJ33；
 
 
像元尺寸：3.75 μm×3.75 μm； 
 
 
靶面尺寸：1/3”；
 
 
分辨率：1280×960；
 
 
帧率：30 fps；
 
 
曝光时间：34μs～1sec；
 
 
黑白/彩色：彩色；
 
 
接口：GiGE。
 
2）工业镜头
 
 
 
焦距：固定焦距；
 
 
光圈：手动光圈；
 
 
像素级别：600万像素，FA 镜头；
 
 
焦距大小：12mm ；
 
 
F数：F2.8～F16。
 
 
3）LED光源
 
 
 
光源类别：30度环形光源；
 
 
LED类型：贴片LED；
 
 
颜色：白色；
 
 
色温：6600K；
 
 
功率：14.4W。
 
 
实验项目
 
（1）基础实验：Python语言程序设计
 
 
 
python集成开发环境搭建、软件安装实验
 
 
python编程实验：计算任意输入整数的阶乘
 
 
python编程实验：汉诺塔问题
 
 
python编程实验：使用蒙特·卡罗方法计算圆周率近似值
 
 
python编程实验：使用Numpy进行t检验
 
 
python 编程实验：使用PIL读取、显示和处理图像
 
 
python GUI编程实验：matplotlib数据可视化
 
 
python GUI编程实验：动态时钟设计
 
 
（2）基础实验：数字图像处理
 
 
 
图像的代数运算
 
 
图像变换
 
 
图像分割
 
 
图像平滑
 
 
图像增强
 
 
彩色图像处理
 
 
形态学处理
 
 
边缘检测
 
 
直线、圆检测
 
 
三角形、矩形检测
 
 
（3）基础实验：机器视觉
 
 
 
视觉系统搭建与硬件操作
 
 
图像采集与显示
 
 
视觉定位
 
 
视觉系统的标定
 
 
颜色识别
 
 
形状识别
 
 
测量物体尺寸
 
 
物体有无检测
 
 
（4）课程设计：人脸识别系统
 
 
 
能够录入人脸数据；
 
 
能实现身份认证；
 
 
有专门的用户操作界面。
 
 
（5）课程设计：目标识别系统
 
 
 
能够识别平面彩色目标，如圆形、矩形、三角形，或者利用深度学习技术识别其他复杂结构目标图案；
 
 
有专门的用户操作界面。
 
 
（6）课程设计：物体缺陷检测系统
 
 
 
能够对物体进行预处理；
 
 
能够检测是否有缺陷并提取缺陷特征；
 
 
能够输出缺陷的大小，判断目标是否合格。
 
 
（7）课程设计：OCR字符识别系统
 
 
 
能对图像进行预处理，凸显出视野中的字符区域；
 
 
能分析字符形态，如间距、高度等；
 
 
能将字符逐个分割出来，并进行准确识别，而后显示。
 
 
（8）课程设计：车牌检测与识别系统
 
 
 
能从视频流中提取特定帧图像，并进行预处理，滤除干扰信息；
 
 
能从图像中定位到车牌位置；
 
 
对车牌信息进行识别，并输出到界面。
 
 
（9）课程设计：种子计数与分级系统
 
 
 
能对图像进行预处理，滤除干扰信息；
 
 
能对不同种子进行分割，统计有效种子的数量；
 
 
能逐个判别种子特征，根据分类依据进行种子分级。