FedProto：跨异构客户端的联邦原型学习

在进行联邦学习中解决异质性问题的调研，这篇文章发表于2022的AAAI，使用原型来解决这部分问题，同时还使用“模型异构“的概念（之前一般见到的都是系统异构）。 一、阅读目标 了解使用原型学习解决异质性的思路，以及可以借鉴的方向 区分模型异构与系统异构两个概念，并总结 二、问题回答 构建以类别为单位的原型，服务器端通过原型的传递代替模型的聚合，并将聚合的原型返回客户端用于训练 我认为二者是从属关系，模型异构应该属于系统异构的一个方面，但现在没有官方定义，大家仍然混用 三、摘要 动机：客户端之

本文深入探讨了FedProto在联邦学习中的创新应用，特别是在异构场景下的优势。通过原型学习技术，FedProto有效解决了传统梯度聚合方法在统计异构性和模型架构异构性上的局限，显著提升了通信效率和模型性能。医疗影像和金融风控等实际案例验证了其跨行业应用潜力，为数据协作提供了新思路。

在联邦学习(FL)中，当客户端知识在梯度空间中聚集时，客户端间的异构性通常会影响优化的收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面存在差异，这很容易导致其局部梯度的不对齐。为了提高对异构的容忍度，我们提出了一种新的联邦原型学习框架(federalprototype learning, FedProto)，在该框架中，客户端和服务器端通过抽象类原型而不是梯度进行通信。

代码浮现

©PaperWeekly 原创 ·作者 |张剑清单位 |上海交通大学、清华大学（AIR）研究方向 |联邦学习本文介绍的是我们的一篇收录于 AAAI 2024 的论文，主要考虑的是数据异质和模型异构场景下的联邦学习框架。在异构联邦学习中，由于模型架构不同，传统联邦学习中的参数聚合方法不再适用，取而代之的是基于知识蒸馏的知识共享方法。在这些方法中，我们关注不引入额外数据集的（data-free...

本文深入探讨了FedProto框架如何通过原型聚合技术解决联邦学习中的数据异构性难题。该框架让各参与方交换并聚合抽象的类别原型，而非敏感模型参数，从而在保护数据隐私的同时，有效对齐不同分布的数据特征，提升模型在跨机构协同训练中的收敛速度与泛化性能。

本文深入解析FedProto框架如何通过原型学习解决联邦学习中的异构客户端问题，提供完整的代码实现和医疗影像诊断实战案例。FedProto利用特征解耦和原型对齐技术，有效支持不同架构模型的协同训练，显著提升模型在Non-IID数据下的性能表现，为医疗等隐私敏感领域提供创新解决方案。

FedProto是一种创新的联邦学习框架，通过原型聚合机制有效应对数据异构性挑战。该框架让各客户端在本地计算并交换类别原型而非梯度，从而在不共享原始数据的前提下，学习到更鲁棒和泛化的共享特征表示，显著提升了模型在跨设备、跨场景数据上的性能。

FedProto: Federated Prototype Learning across Heterogeneous Clients》发表在 2022 年的人工智能顶级会议 AAAI 上，此篇论文旨在解决联邦学习客户端模型和数据异构的问题，并设计了一个简洁且优美的原型学习方法。此篇论文是我个人非常喜欢的一篇联邦学习论文，此方法简洁优美且有效！此篇博文对其核心思想进行阐述，希望可以帮助对此篇论文感兴趣的小伙伴～～～注：笔者水平有限，若有描述不当或错误的地方，敬请大家批评指正！

在那些由于需要学习难以学习的类，而额外学习的epoch中，之前已经学习好的，容易学习的类中很容易产生过拟合（对噪声的过拟合），这时模型的performance将会下降。模型异构的联邦学习，是一种每个client拥有互不相同模型的联邦学习任务，其能够解决联邦学习中每个成员希望独立设计自己模型的需求，但目前同样面临着来自数据层面和成员层面的各种挑战，比如数据标记困难，训练中存在搭便车成员，及其进一步导致的标签噪声问题。作者提出的全新的具有噪声鲁棒性的异构联邦学习方法，同时提出了评估成员模型好坏的CCR方法。

昇思MindSpore作为一个开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能，超大规模AI预训练、极简开发、安全可信的体验，2020.3.28开源来已超过5百万的下载量，昇思MindSpore已支持数百+AI顶会论文，走入Top100+高校教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心，金融、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景逐步广泛应用，是Gitee指数最高的开源软件。

本文深入解析了FedProto框架，这是一种专为应对模型异构和统计异构挑战而设计的联邦学习方法。它通过让客户端交换并聚合代表类别核心特征的“原型”，而非模型参数或梯度，实现了在异构设备间高效、隐私友好的知识协同。文章提供了详细的PyTorch实战教程，帮助读者掌握其核心原理与实现。

分布式机器学习&联邦学习论文阅读笔记一、开源框架FedML二、数据异构问题FedProxBridging Median and Mean Algorithms（NeurIPS 2020）三、边缘计算负载问题FedGKT（NeurIPS 2020）四、通信量压缩FetchSGD（ICML 2020）五、个性化联邦学习Ditto（ICML 2021）pFedHN（ICML2021） 一、开源框架 FedML https://github.com/FedML-AI/FedML 二、数据异构问题 FedPr

个性化联邦学习综述，介绍了当前非独立同分布的数据情况，以及相应的解决方案、论文。同时也对PFL进行了分类，四大类、十小类，方便相关研究人员针对性的学习

Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge 摘要 我们设想了一个用于机器学习（ML）技术的移动边缘计算（MEC）框架，它利用分布式客户端数据和计算资源来训练高性能ML模型，同时保留客户端隐私。为了实现这一未来目标，本文旨在扩展联邦学习（FL）这个分散学习框架，使模型的隐私...

背景 在用户异构（用户的通信、计算能力不同）的蜂窝网络中，传统的联邦学习会很低效。这是因为传统联邦学习中每轮参与模型训练的用户是随机选取的，这样如果一轮中选取的某些用户的通信、计算能力较差，那么其模型训练、上传所需的时间就更长，进而拖延本轮的模型聚合步骤，最终导致整个模型训练效率的低下。 研究内容 论文提出了FedCS协议，将传统联邦学习的随机选取参与用户改为由用户的资源情况选择尽可能多的“优质”用户来进行模型更新。图示如下： FedCS协议的具体步骤： 1....

定量质谱法通过实现数千种蛋白质的同步定量，彻底改变了蛋白质组学。汇集多个机构的患者来源数据虽能提高统计效力，却引发了严重的隐私问题。在此，介绍首个用于分布式数据协同差异蛋白质丰度分析的隐私保护工具FedProt，采用了联邦学习和加法秘密共享技术。由于缺乏用于评估的多中心患者来源数据集，构建了2️⃣个数据集：① 来自 5 个中心的大肠杆菌实验数据，② 来自 3 个中心的人血清数据。