论文解读《Zero-Shot Category-Level Object Pose Estimation》类别级6D位姿估计

论文：《Zero-Shot Category-Level Object Pose Estimation》

该文整体感觉不难，处理流程比较新颖，可以重点参考。

Code：https://github.com/applied-ai-lab/zero-shot-pose （48 star）

摘要：

• 解决问题：

  • 实例级姿态估计的问题。 => **零样本（也就是预测未见过的物体（没有该实例的数据标记和CAD模型），类别级）**预测来自对象类别的两个实例之间的姿势偏移，而不需要任何姿势注释。

    **为什么人类可以识别出之前没有见过的物体的类别？**直观地说，我们认为人类利用对对象部分的理解，即跨类别的概括，来对应相关的对象。在这个过程之后，可以使用基本的几何图元来理解对象之间的空间关系。人类通常也有粗略的深度估计，可以从多个角度检查物体。

    本文就是以这个为出发点（创新点1），使用这些直觉来构建一个解决方案，以估计给定类别的两个实例之间的姿态偏移。

  • 现有的类别级方法通过训练每个类别的单独模型，或通过为每个类别使用不同的模板（例如CAD模型），来预测图像中对象相对于所提供的CAD模型的类别和姿势。 => 本文方法：不需要任何姿态标记的数据或CAD模型来估计类别的姿态，并处理不可见类别的姿态估计。

• 提出了一种基于自监督视觉变换器（ViT）的语义对应的零样本、类别级姿势估计方法；（实现零样本预测的关键是**能够以零样本方式在对象类别内的成对图