31、多智能体强化学习辅助的服务功能链部署

多智能体强化学习辅助的服务功能链部署

在支持网络功能虚拟化（NFV）的物联网（IoT）网络中，服务提供商可借助服务功能链（SFC）以快速、可靠且经济高效的方式部署新服务。SFC 能将一系列异构的虚拟网络功能（VNF）连接起来，形成一个服务承载载体，以满足不同的服务质量（QoS）要求，灵活应对物联网业务的特殊需求。然而，如何将多个 SFC 需求嵌入到共享的 NFV 网络中，成为了一个关键挑战。

1. SFC 部署问题的现有解决方案

目前，关于 SFC 部署问题的研究方法可分为集中式解决方案和分布式解决方案：
- 集中式解决方案 ：使用控制器收集用户需求和网络状态，计算最优部署策略，然后在网络中配置 SFC。例如，采用多标准安排方案在软件定义网络（SDN） - 物联网网络系统中编排 SFC，并设计基于遗传算法（GA）的方法来优化服务性能和资源消耗。但集中式解决方案需要全局信息来计算部署策略，可能会引发隐私和可扩展性问题。
- 分布式解决方案 ：利用非合作博弈理论实现分布式方案，可处理可扩展性和隐私问题。然而，分布式算法可能会出现严重的不收敛问题，分布式网络节点如何学习全局最优部署策略成为分布式算法设计的关键问题。

2. 基于分布式强化学习的 SFC 部署算法

受强化学习（RL）成功应用的启发，我们尝试使用分布式 RL 来优化 SFC 部署问题。RL 允许分布式智能体在无需人工启发式方法的情况下探索环境并从经验中学习。我们提出了一种基于分布式 RL 的 SFC 部署算法，为提高收敛效率，设计了混合控制架构，并采用集中式学习和分布式执行框架。集中式平台可利用全局网络信息