简述

比较重点：速度（满足节拍）、精度（大视野/小视野）

流派	描述
双目	视野1m，精度±1mm 视野500mm，精度0.5mm （一般0.5mm-2mm）
3D结构光	用于没有明显特征的场合，引导定位精度mm级本质：双目+投影仪
线扫激光	Z轴精度高，适合测高
TOF	高速运动用TOF，3D结构光需要工件不动
单目+激光测距	可作为大视野下双目做不了的补充方案

详述

关于双目
特点：视野大，但容易受外界环境光的影响
产品：大小工件都可以，但工件超过1.5m一般就不能做了，原因是受限于标定板（标定板最大1.2m）
精度：视野1m，精度±1mm；视野500mm，精度0.5mm（一般0.5mm-2mm）
产品：要有特征（圆的、完全对称的无法做），建议4~5个特征点
两种形式：眼在手上（建议）/眼在手外
支持通讯：TCP/IP
关于康耐视的DS（线扫激光）
适合测平面度（一般用DS，而不是A5000）
DS适合测量高度、体积（X、Y方向精度低，Z方向精度高）
DS要保证每次触发位置相同
DS必须有相对运动，要保证图像没有被拉伸和压缩，可以装机器人上匀速运行
DS有盲区
关于康耐视的A5000（3D结构光）
适合做定位
精度一般不高，视野也不大，康耐视最大视野600mm，因为相机分辨率是130w/200w
容易受外界光影响
不适合运动中取像
Tof
价格贵，量产的少
不受外界光影响
速度快，可以运动中取像

工业现状

机械臂相对精度0.02mm（重复精度），绝对精度0.2mm
ES（3D结构光）精度没有3D locate（双目）高
双目极限：视野500mm，3D locate精度最高0.5mm
DS（线扫激光）波动2个像素，DS精度0.1mm，故系统精度能到0.2mm

双目

重点：相机标定、手眼标定

标定：机械臂带着相机/标定板走9个姿态，双目相机拍照，实现相机标定、手眼标定
实施：左右相机找n个对应特征点，计算3D坐标，计算姿态偏移

3D结构光/线扫激光

重点：点云配准

标定：机械臂带着凸台走9个姿态，实现手眼标定
实施：取像，点云识别/点云分割、点云配准，计算姿态偏移

单目相机+激光测距（眼在手上）

标定

标定步骤

搭建系统：把相机、激光测距仪、戳点用的针固定在机械臂末端
对机械臂做TCP：机械臂第六轴法兰盘中心坐标系（TCP1）、针尖坐标系（TCP2）、
相机标定：棋盘格标定板放置在平面上，机械臂带着相机走9个位姿，保存9张棋盘格图片、记录9个TCP1的机械手位姿 => 相机标定求得相机外参，再结合机械手位姿，求得手眼矩阵（ $CamToTool$ ）
激光光斑点的基坐标：以一定的姿态放置用于戳点的工件在平面上，控制机械臂末端，用针尖戳点，记录TCP2的机械手位姿 => 其实只需要XYZ坐标，即激光光斑点在基坐标系下的坐标（ $\begin{bmatrix} X_{dst\_Base} \\ Y_{dst\_Base} \\ Z_{dst\_Base} \\ \end{bmatrix}$ ）
标定激光测距仪。控制机械臂末端，使激光对准工件上戳的点，记录TCP1的机械手位姿（ $ToolToBase$ ）、记录激光测距仪测得的距离数据（ $d$ ） => 实施标定
戳9个点，可取其中6个用于标定，其余3个用于验证精度

标定原理

测距激光、单目相机装在机械臂末端，相对关系不变，故激光源坐标在相机坐标系下是固定不变的（ $\begin{bmatrix} X_{src\_Cam} \\ Y_{src\_Cam} \\ Z_{src\_Cam} \\ \end{bmatrix}$ ）
单目相机固定在机械臂末端，两者相对关系不变（ $CamToTool$ ）
未知量：和，通过将激光光斑点统一到相机坐标系下通过最小二乘法求解。
- 等式左边：基坐标系下激光光斑点坐标，转换到相机坐标系下
- 等式右边：相机坐标系下激光光源点坐标，加上距离数据，求得激光光斑点坐标

标定公式

至少两组点的值可求解6个未知数

$CamToBase = ToolToBase·CamToTool \\ CamToBase^{-1} \begin{bmatrix} X_{dst\_Base} \\ Y_{dst\_Base} \\ Z_{dst\_Base} \\ 1 \\ \end{bmatrix} = \begin{bmatrix} X_{src\_Cam} \\ Y_{src\_Cam} \\ Z_{src\_Cam} \\ 1 \\ \end{bmatrix} + \begin{bmatrix} V_{x\_Cam} \ d \\ V_{y\_Cam} \ d \\ V_{z\_Cam} \ d \\ 0 \\ \end{bmatrix}$

标定说明

激光光源点：src
激光光斑点：dst
机械手坐标系：Tool
基坐标系：Base
相机坐标系：Cam
$ToolToBase$ ：机械手坐标系到基坐标系，通过示教器读取，随姿态变化而变化
$CamToTool$ ：相机坐标系到机械手坐标系，通过相机外参和机械臂姿态可求得，即手眼矩阵，固定值
$CamToBase$ ：相机坐标系到基坐标系，通过上面两者相乘
$\begin{bmatrix} X_{dst\_Base} \\ Y_{dst\_Base} \\ Z_{dst\_Base} \\ \end{bmatrix}$ ：激光光斑点在基坐标系下的坐标，标定时的已知量，机械臂做TCP通过戳点可得
$\begin{bmatrix} X_{src\_Cam} \\ Y_{src\_Cam} \\ Z_{src\_Cam} \\ \end{bmatrix}$ ：激光光源点在相机坐标系下的坐标，标定时待求解的未知量
$\begin{bmatrix} V_{x\_Cam} \\ V_{y\_Cam} \\ V_{z\_Cam} \\ \end{bmatrix}$ ：激光光束在相机坐标系下的单位方向向量，标定时待求解的未知量
$d$ ：激光测距仪测得的距离数据，通过激光测距仪读取

实施

实施原理

通过将激光光斑点由相机坐标系变化到基坐标系即可求解

输入
- 激光测距仪测得的距离数据（ $d$ ）
- 机械手位姿（ $ToolToBase$ ，结合手眼矩阵计算 $CamToBase$ ）
已知（标定求得的不变量）
- 激光光源点在相机坐标系下的坐标（ $\begin{bmatrix} X_{src\_Cam} \\ Y_{src\_Cam} \\ Z_{src\_Cam} \\ \end{bmatrix}$ ）
- 激光光束在相机坐标系下的单位方向向量（ $\begin{bmatrix} V_{x\_Cam} \\ V_{y\_Cam} \\ V_{z\_Cam} \\ \end{bmatrix}$ ）
- 手眼矩阵（ $CamToTool$ ）
输出
- 激光光斑点在基坐标系下的坐标（ $\begin{bmatrix} X_{dst\_Base} \\ Y_{dst\_Base} \\ Z_{dst\_Base} \\ \end{bmatrix}$ ）

实施公式

$\begin{bmatrix} X_{dst\_Base} \\ Y_{dst\_Base} \\ Z_{dst\_Base} \\ 1 \\ \end{bmatrix} = CamToBase ( \begin{bmatrix} X_{src\_Cam} \\ Y_{src\_Cam} \\ Z_{src\_Cam} \\ 1 \\ \end{bmatrix} + \begin{bmatrix} V_{x\_Cam} \ d \\ V_{y\_Cam} \ d \\ V_{z\_Cam} \ d \\ 0 \\ \end{bmatrix} )$

问题

相机能不能省去？
？？？不能，求解手眼矩阵时，相机外参是必须的
由论文，棋盘格标定板不是必须，但相机是必须的
激光测距仪能不能省去？
？？？通过三角测量法
测量来料工件位姿时，怎么控制激光打到对应的点上
？？？郑帅超的论文是怎么做的
优势
不受相机视野影响
劣势
不同于双目一次取像可以获得所有特征点，单目+激光测距需要多次移动机械臂，每次算得一个特征点

深度相机（一）——分类：TOF、RGB双目、结构光优劣分析