Grasp Pose Detection with Affordance-based Task Constraint Learning in Single-view Point Clouds

1.解决的问题

Knowing how to grasp is generally more challenging than what to grasp for a robot.
从单视角点云规划抓取的挑战性在于模型需要对RGB-D感知的不精确和不完整进行补偿。

GPD方法在物体CAD模型未知的情况下直接从RGB-D传感信息中检测3DoF或6DoF抓取位姿，取得了很好的效果，而且在未知物体抓取上有很好的泛化性。与GPD抓取任意（any）物体不同的是，本文聚焦于物体操作任务中任务导向（task-specific, goal-oriented）的抓取。为了推理任务需求和满足特定任务约束，一个抓取规划器需要从物体功用属性中提取出抓取策略。

任务约束通常被归结为affordance检测的问题。传统的全局affordance检测需要先进行物体识别，然后再进行6DoF位姿估计，这些方法的局限性在于不能泛化到新物体。affordance也可以指物体的几何形状和表面，但是需要物体3D模型。相反，局部affordance检测通过手工设计的特征或CNN利用物体的patches或parts，CNN方法能端到端进行affordance检测并且能泛化到新物体。

定位和识别相关物体也很关键，同时进行物体检测和affordance检测，避免了affordance检测对正确检测物体的依赖性。采用多任务损失函数联合训练，可避免级联CNN计算效率低下。

论文受文献Affordancenet: an End-To-End Deep Learning Approach for Object Affordance Detection（ICRA2018）启发，不同之处是论文方法采用的是物体分割。

与end-to -end affordance检测的SOTA方法Knowledge Induced Deep Q-Network for