手眼系统：从坐标关系到机械手控制的关键技术

所谓手眼系统，就是当人通过眼睛看一个物体时，需要用手去抓取，大脑需要知道眼睛和手的坐标关系。如果把大脑比作B，眼睛比作A，手比作C，如果知道了A和B的关系，知道了B和C的关系，那么也就知道了C和A的关系，也就是知道了手和眼睛的坐标关系。

相机知道的是像素坐标，机械手知道的是空间坐标系，所以手眼标定就是获得像素坐标系与空间机械手坐标系之间的坐标变换关系。

在实际控制中，摄像机检测到图像中目标的像素位置后，通过标定的坐标变换矩阵将摄像机的像素坐标变换到机械手的空间坐标系中，再根据机械手坐标系计算出各个电机的运动，从而控制机械手到达指定位置。这个过程涉及到图像标定、图像处理、运动学正逆解、手眼标定等。

常用的校准方法有：九点校准

九点校准：

九点标定直接建立相机与机械手之间的坐标变换关系。

让机械臂末端走到这9个点，得到机器人坐标系中的坐标，再用摄像头识别这9个点，得到像素坐标。这样就得到了9组对应的坐标。

从以下公式我们可以看出，至少需要3个点才能找到校准矩阵。

（1）校准，9点校准操作符

（2）解决方案

一些特殊情况的解释：

有些情况下，我们看到相机固定在一个地方，然后拍照找到目标，控制机器人抓取。这个很容易理解。我们也叫眼对手

还有一种情况是相机固定在机械臂上，这种情况下标定过程其实和相机与机械臂分离时的标定方法是一样的。因为当相机拍照时，机械臂会移动到相机标定时的位置，然后相机拍照九点，得到目标的坐标，再控制机械臂。所以很多末端固定简单相机的手眼系统都是采用这种方式，标定过程可以和手眼分离系统的标定一样处理，我们也叫手眼分离系统标定。

评论：

或者扫描下方二维码，进入奥比中光开发者社区：