硕士_基于双目视觉的散乱堆放工件拾取系统
本文主要研究的问题是如何在散乱堆放的工件堆中用机器视觉识别分类工件，驱动工业机器人到达正确的位姿抓取将工件并摆放到相应的加工位置
研究进展
RBP研究进展
工业界（参考文献[14]、[16]、[22]）：
机器人四大家族ABB、KUKA、安川、发那科对于机器人视觉拾取的研究和应用处于前沿位置
学术界（参考文献[10]~[13]、[17]~[21]）：
系统设计
总体方案设计
双目视觉提供了计算两幅图像同名像素点对应的空间点的三维坐标的方法，可以在三维的层面上完成工件的识别和定位，最后控制机器人对工件进行准确的抓取。
针对工件堆叠的情况，使用双目视觉方法对工件进行抓取。
总体方案分为四个部分：
| 四层 | 说明 |
|---|---|
| 硬件层 | 相机、机器人、视觉系统、投影仪等 |
| 底层软件依赖库 | 系统开发时使用的库：OpenCV、PCL |
| 中间功能模块 | 图像处理模块、点云处理模块、标定模块、机器人通信模块 |
| 上层功能模块 | 系统主要的功能是重建点云，并识别工件，驱动机器人抓取工件 |
系统硬件设计
- UR3机器人
- 双目相机
- 投影仪
- 计算机
- 气动夹具
- 空压机
| 硬件 | 型号 |
|---|---|
| 工业机器人 | UR3 |
| 工业相机 | 德国映美精的DKF23UM021工业相机（C MOS感光芯片为1/3’’寸） |
| 镜头 | 变焦镜头，参数为C接口，焦距为6-12mm，1/2’’寸的成像圈 |
| 光源 | 结构光 轰天炮的的DLP-800w高清迷你液晶投影仪，分辨率为1280×800dpi，亮度为4000~6000流明，投放距离为0.5~2.9m，投放画面为30~300寸 |
| 夹具 | SMC的MHZ2-20两爪气动夹具，孔径为20mm，夹持力为66N，手爪打开时距离为34.3mm，手爪闭合时距离为20mm（工件抓取位置大小为24mm） |
| 计算机 | 台式电脑，8G内存，i7处理器，硬盘500G |
| 实验架 | 实验架固定于UR3机器人的工作台上，限制了机器人与视觉系统之间位置 |
| 工件箱 | 故用磨砂纸对工件盒箱内部进行打磨，使得底板产生漫反射效果，防止工件盒内部反光 |
PS：双目测量测量系统对光栅投影仪的要求：亮度均匀、光线投射准确、条纹的对比度高
系统软件设计
VS2010、C++、面向对象的模块化设计
| 五块 | 说明 |
|---|---|
| 标定模块 | ①相机标定：单个相机的内外参数、镜头畸变参数的标定 ②立体标定：两个摄像头之间的旋转平移关系的标定 ③手眼标定：相机与机器人基坐标系之间位置关系的标定 |
| 图像处理模块 | 获取图像 对获取的图像进行滤波、分割等操作 分离背景与工件图像，分割投影在工件表面的投影光栅，并匹配相同编码区域 控制投影仪与相机的时序，三维重建点云 |
| 点云处理模块 | 整个系统的核必模块 提取三维的点云关键点，并通过描述算子描述关键 建立模板库，通过匹配模板点云的关键点与现实场景中工件点云关键点，估算模板工件与现实工件旋转平移关系，最后通过坐标转换得到机器人抓取位姿 |
| 通信模块 | 把点云处理模块计算得到的工件的真实位姿作为输入，通过坐标变换，计算得出机器人末端夹具的最终的拾取位姿，并通过TCP通信向机器人发送规划的离散轨迹点，驱动机器人到达相应位姿，最后通过Modbus通信控制气动夹具的闭合抓取工件 |
| 显示模块 | 双目采集图像的实时显示 点云处理模块的显示 |
UR3六轴工业机器人的集成
与UR3通信，控制两个方面：
| 控制的方面 | 协议 | 说明 |
|---|---|---|
| 机器人末端夹爪的位置 | TCP/IP | 机器人作为服务器，PC作为客户端 |
| 用IO口控制气动夹具的开闭 | Modbus | 机器人作为服务器，PC作为客户端 使用libmodbus库实现与机器人的通讯，通过寄存器访问IO口 |
基于双目视觉的工件点云重建
双目点云重建原理、相机的摆放
| 相机摆放方式 | 优点 | 缺点 |
|---|---|---|
| 平行光轴的窄基线方式 | 两幅图像的视场有较大面积的重叠部分，几何变形小，容易匹配 | 精度低 |
| 相交光轴的宽基线方式 | 与上相反 | 与上相反 |
本文的重建需要视场较大面积的重叠和较高的精度，故本文采用小角度相交的非平行光轴的方式摆放相机。
两个相机摆放位置参数：两相机光轴夹角20°，基线距离为200mm
（文献[25]中有误差模型）1
2
3[35] 吴彰良, 胡鹏浩, 卢荣胜, 宫能刚. 一种双目视觉传感器结构参数设计方法[J]. 传感器技术,2005,03:35-37
[31] Roger Y. Tsai. A versatile camera calibration technique for high-accuracy 3d machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE journal of Robotics and Automation, 1987 3 (4), 323-343.
[32] Zhang Z. A flexible new technique for camera calibration[J]. Pattern Analysis and Machine Intelligence,IEEE Transactions on,2000, 22(11): 1330-1334
双目视觉立体标定
单目相机模型：针孔模型（线性模型）
系统左右相机的单目标定（非线性模型）
- Tsai两步法（前提是相机只有径向畸变） —— 文献[31]
- 张氏标定法 —— 文献[32]
系统双目立体标定
☆相机与机器人坐标系的标定
图像预处理
基于物理编码结构光的匹配方法
三维坐标计算
工件识别和定位
法向量的估计和曲率的计算
基于区域生长法对工件堆点云的分割
基于ISS算法的工件关键点提取
基于SHOT算法的关键点特征描述
工件位姿估计算法
机器人抓取方案设计与使用分析
机器人抓取方案设计
实验设计
实验结果及分析
结论和展望
硕士_基于点云配准的3D物体检测与定位
识别的思路