【论文阅读】GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition

论文信息：

作者：Hanqing Chao, Yiwei He, Junping Zhang, Jianfeng Feng，复旦大学

AAAI 2019

也是步态识别方向的突破性大进展之一，用步态集合取代了之前广为使用的步态能量图GEI等

摘要

本文提出的GaitSet，从集合中识别行人信息。从集合的视角，就可以不受到画面排列的影响，将不同场景下拍摄的不同视频的画面自然整合在一起，比如不同的角度，不同的穿着和携带物品等。在CASIA-B和OU-MVLP步态数据集上都取得了最好的效果。

Intro

现有的步态识别方法：

• gait template: 丢失时间信息和细粒度的空间信息。
• gait sequence: 3D-CNN这种包含时序信息的网络，比使用GEI等方法更难训练。必须保存不必要的序列约束，导致失去了步态识别的灵活性。

本文提出的方法是把步态看成一个步态轮廓的集合，作者的逻辑是这样的：步态可以在一个简单的周期中被表示，在一个周期内，即使轮廓的外貌被打乱，实际上我们也仍然可以通过轮廓外貌进行重新排序。这样步态序列的位置信息就不需要了，因为轮廓本身已经包含了顺序信息。

模型的输入是一个步态序列的集合，首先，使用一个CNN去提取帧级别的特征；之后，使用集合池化层去把帧级别的特征综合为一个集合级别的特征。因为这个操作是在高级别的feature map上而不是原始的轮廓上，因此可以比步态能量图等保存更多的时序和空间信息。最后，使用水平金字塔去把集合级别的特征映射到一个有区分度的空间内，以获取最终的表示。

模型特点：

• 灵活：输入无约束，可以是任何视角、任何行走状态，任意数量的非连续轮廓。
• 快速：模型直接学习步态的表示，而无需计算一对能量图等的相似度，因此，每个模板的表示只需被计算一次，然后计算不同样本之间的欧氏距离就可以完成识别。
• 有效：数据集上的识别准确率被大大提高，有了很强的鲁棒性和泛化能力。

GaitSet

问题公式描述

把gait作为一个集合，给定N个人的数据集 $y_i$ ，假设某个人的步态轮廓图服从分布 $P_i$ ，一个人的或轮廓序列就可以被描述为 X i = { x i j ∣ j = 1 , 2 , … , n } X_i=\{x_i^j|j=1,2,…,n\} Xi​={ xij​∣j=1,2,…,n} ，这里 $x_i^j\sim P_i$ 。

在这个假设下，我们对于步态识别的任务可以描述为三个步骤：
f i = H ( G ( F ( X i ) ) ) f