【CVPR2025】PrunNet：兼容多平台任意容量部署！

最新推荐文章于 2026-06-17 22:12:45 发布

原创最新推荐文章于 2026-06-17 22:12:45 发布 · 898 阅读

7 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#计算机视觉 #人工智能

论文地址：http://arxiv.org/pdf/2504.11879v1
代码地址：https://github.com/Bunny-Black/PrunNet

关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881

摘要

非对称检索是现实世界检索系统中的典型场景，其中不同容量的兼容模型部署在具有不同资源配置的平台上。现有方法通常使用兼容学习来训练预定义的网络或子网络，其容量专门为预定平台设计。然而，这些方法在多平台部署方面缺乏灵活性。例如，当将新平台引入检索系统时，开发人员必须以适当的容量训练一个额外的模型，该模型通过向后兼容学习与现有模型兼容。

本研究提出了一种具有自兼容性的可剪枝网络，它允许开发人员通过训练后剪枝生成任意所需容量的兼容子网络。因此，它允许创建与新平台资源匹配的稀疏子网络，而无需额外的训练。具体而言，本研究在兼容学习中优化了密集网络中不同容量子网络的架构和权重。本研究还设计了一种冲突感知梯度集成方案，以处理兼容学习期间密集网络和子网络之间的梯度冲突。在各种基准和视觉骨干上的大量实验结果证明了本方法的有效性。

引言

**本研究旨在解决非对称检索中多平台部署的兼容性问题。**图像检索系统在实际应用场景中，经常需要在计算资源和存储资源不同的设备上部署不同容量的模型，例如在云服务器和移动设备上的部署。传统的对称检索方法，即在查询和图库图像上使用相同的模型，无法充分利用不同设备的资源，也无法满足不同设备的性能需求。为了解决这个问题，非对称检索方法被提出，通过训练多个不同容量的检索模型并将其部署在不同的设备上，例如将大容量模型部署在云服务器上用于索引图库图像，而将小容量模型部署在资源受限的设备上用于处理查询图像。

非对称检索的关键在于图库模型和查询模型之间的兼容性，即不同模型处理的相似图像在特征空间中应该更接近，而不相似图像应该更远。现有的非对称检索方法主要通过知识蒸馏、分类器正则化等技术来学习与大容量图库模型兼容的小容量查询模型。然而，这些方法主要关注于学习单个小容量模型，对于多平台部署的灵活性有限。最近提出的SFSC方法尝试同时学习不同容量的兼容模型，但其预定义的子网络结构限制了优化空间，并且当引入新的平台时，需要通过向后兼容学习来训练额外的模型，增加了开发成本。

**本研究探索在兼容学习中同时优化不同容量子网络的结构和权重，而不是预先定义和固定它们。**受彩票假说（LTH）的启发，本研究旨在识别每个指定容量下性能良好的子网络，即“多奖子网络”。初步实验表明，小容量的奖品子网络可以通过选择性地继承大容量奖品子网络的权重来获得，而不是在整个密集网络中搜索。这意味着可以通过贪婪剪枝来识别各种容量的多奖子网络。

基于此观察，**本研究设计了一个具有自兼容性的可剪枝网络（PrunNet），允许开发者通过训练后剪枝生成任意容量的兼容子网络。**这种方法无需重新训练即可创建适用于新平台的稀疏子网络。具体而言，本研究为密集网络的每个权重分配一个可学习的分数，该分数指示权重的重要性。在优化过程中，对密集网络进行贪婪剪枝，从而使子网络的结构可以随着分数的更新而优化。此外，本研究设计了一种冲突感知梯度集成方案，以解决兼容学习期间（子）网络之间的梯度冲突，确保模型能够稳定收敛。

**本研究与现有的兼容学习方法相比，最大的区别在于同时学习子网络的结构和权重，而不是使用预定义的结构。**这使得PrunNet能够更好地适应不同的容量需求，并且无需额外的训练即可部署到新的平台。与彩票假说相关的研究相比，本研究的目标是找到各种指定容量下性能良好的兼容子网络，而不是仅仅找到一个稀疏的子网络。此外，本研究提出的冲突感知梯度集成方案能够有效地解决多任务学习中的梯度冲突问题，从而提高模型的训练效率和性能。

论文创新点

🌳 PrunNet：一种用于非对称检索的可剪枝网络 🌳

本研究提出了一个名为 PrunNet 的可剪枝网络，用于非对称检索，该网络可以生成不同容量且相互兼容的多奖子网络，以适应多平台部署。

✨ 兼容学习过程中同时优化结构和权重： ✨
- 不同于现有方法预先定义子网络结构再进行兼容学习，PrunNet 在兼容学习过程中同时优化稠密网络中不同容量子网络的结构和权重。
- 这使得开发者可以通过训练后的剪枝操作，根据需要生成任意容量的兼容子网络，而无需额外的训练，从而提高了模型部署的灵活性。
🌱 权重继承特性与自兼容性： 🌱
- 研究发现多奖子网络中存在权重继承的特性：从小容量奖子网络中发现的小型奖网络也是稠密网络的奖子网络。
- 基于此，PrunNet 通过从大容量奖子网络中选择性地继承权重，而不是在整个稠密网络中搜索，来获得小容量奖子网络，实现了自兼容性。
⚙️ 可学习分数指导剪枝： ⚙️
- PrunNet 为稠密网络的每个权重分配一个可学习的分数，指示权重的重要性。
- 在优化过程中对稠密网络进行贪婪剪枝，子网络的结构随分数更新而优化。
- 这种方法允许开发者通过后期训练剪枝，在任何所需的容量下生成兼容的子网络，无需重新训练即可创建适用于新平台的稀疏子网络。
🛡️ 冲突感知梯度整合方案： 🛡️
- 针对 PrunNet 兼容学习过程中不同损失之间的梯度冲突问题，研究设计了冲突感知梯度整合方案。
- 该方案将冲突的梯度向量投影到彼此的正交平面上，消除冲突成分，并根据冲突程度重新加权投影梯度。
- 最终，获得与大多数损失函数一致的优化方向，减轻训练过程中冲突梯度的影响，促进更稳定的网络收敛。
📊 实验结果验证有效性： 📊
- 在多个基准数据集和视觉骨干网络上的实验结果表明，PrunNet 在可辨别性和兼容性方面均优于现有方法。
- PrunNet 的多奖子网络以及稠密网络在相同容量下优于独立训练的模型，一些奖子网络的性能甚至略优于稠密网络，这归因于消除了不必要的冗余权重，使网络能够更有效地关注任务的关键信息。