机械臂抓取学习笔记二

论文：
Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network

摘要：
本文提出了一个模块化的机器人系统，用于预测、规划和执行场景中物体的反足抓取。
提出了一种生成剩余卷积神经网络（GR ConvNet），该网络为n通道输入图像中的每个像素生成反模式抓取，该结构用于预测摄像机视场中物体的合适反足抓取配置。

1. “Deep learning for detecting robotic grasps,”
2. “Real-time grasp detection using convolutional neural networks,”
3. “Supersizing self-supervision: Learning to grasp from 50k tries and 700 robot
   hours,”
4. “Robotic grasp detection using deep convolutional neural networks,”

四篇文章将抓取预测为通过从多个抓取概率中选择最佳抓取来计算的抓取矩形；
本文的网络则生成三幅图像，从中可以推断多个对象的抓取矩形。此外，可以从GR ConvNet的输出一次推断多个对象的多个抓取矩形，从而减少总体计算时间。
下图显示了所提议的系统架构的概述。它由两个主要模块组成：推理模块和控制模块。推理模块从RGB-D相机获取场景的RGB和对齐深度图像。图像经过预处理以匹配GR ConvNet的输入格式。该网络生成质量、角度和宽度图像，然后用于推断反足抓取姿势（Antipodal grasp poses）。控制模块由任务控制器组成，该任务控制器使用推理模块生成的抓取姿势准备并执行执行拾取和放置任务的计划。它使用轨迹规划器和控制器，通过ROS接口将所需动作传达给机器人。

引文：
机器人抓取领域，虽然问题似乎只是能够找到一个合适的抓取物体的方法，但实际任务涉及多方面的因素，例如：要抓取的物体、物体的形状、物体的物理特性以及需要抓取的抓取器等。该领域的早期研究涉及到手动设计特征可以从以下四篇文章看到：

1. “Cloth grasp point detection based on multiple-view geometric cues with appli-
   cation to robotic towel folding,”
2. “Robust visual servoing,”
3. “One-shot learning and generation of dexterous grasps for novel objects,”
4. “Data-driven grasp synthesis—a survey,”

下两文采用与物体接触的末端执行器的力学和接触运动学，并进行了抓取分析（经典控制）。

1. “Robotic grasping and contact: A review,”
2. “Robot grasp synthesis algorithms: A survey,”

在机器人抓取新物体方面，之前的工作涉及使用监督学习，监督学习是基于合成数据进行训练的，但仅限于办公室、厨房和洗碗机等环境。下文主要讨论了这种研究方向

1. “Robotic grasping of novel