机器人识别抓取笔记（基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计：综述）

Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous Robotic Manipulation

（基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计：综述）

1 引言

• 找到理想抓取配置的抓取假设的子集包括：机器人将执行的任务类型、目标物体的特征、关于物体的先验知识类型、机械爪类型，以及最后的抓取合成。
• 注：从本文中可以学习到视觉伺服的相关内容，用于对动态目标的跟踪抓取或自动调整观察姿态，因为观察的角度不同，预测的抓取框位置也不同，抓取物品离相机位置越近，抓取预测越准。

1.1 抓取综合方法

• 抓取综合方法是机器人抓取问题的核心，因为它涉及到在物体中寻找最佳抓取点的任务。这些是夹持器必须与物体接触的点，以确保外力的作用不会导致物体不稳定，并满足一组抓取任务的相关标准。
• 抓取综合方法通常可分为分析法和基于数据的方法。
• 分析法是指使用具有特定动力学行为的灵巧且稳定的多指手构造力闭合
• 基于数据的方法 建立在按某种标准的条件下，对抓取候选对象的搜索和对象分类的基础上。（这一过程往往需要一些先验经验）

1.2 基于视觉的机器人抓取系统

• 基于视觉的机器人抓取系统一般由四个主要步骤组成，即目标物体定位、物体姿态估计、抓取检测（合成）和抓取规划。
• 一个基于卷积神经网络的系统，一般可以同时执行前三个步骤，该系统接收对象的图像作为输入，并预测抓取矩形作为输出。
• 而抓取规划阶段，即机械手找到目标的最佳路径。它应该能够适应工作空间的变化，并考虑动态对象，使用视觉反馈。
• 目前大多数机器人抓取任务的方法执行一次性抓取检测，无法响应环境的变化。因此，在抓取系统中插入视觉反馈是可取的，因为它使抓取系统对感知噪声、物体运动和运动学误差具有鲁棒性。

2 抓取检测、视觉伺服和动态抓取

• 抓取计划分两步执行。首先作为一个视觉伺服控制器，以反应性地适应对象姿势的变化。其次，作为机器人逆运动学的一个内部问题，除了与奇异性相关的限制外，机器人对物体的运动没有任何限制。

2.1抓取检测

• 早期的抓取检测方法一般为分析法，依赖于被抓取物体的几何结构，在执行时间和力估计方面存在许多问题。此外，它们在许多方面都不同于基于数据的方法
• 基于数据的方法Jiang、Moseson和Saxena等人仅使用图像，