43、多智能体决策过程中的动态规划与协作模型解析

多智能体决策过程中的动态规划与协作模型解析

1. POMG中的动态规划

在多智能体决策过程中，计算纳什均衡通常是一个计算量极大的任务。传统方法中，行动对应着所有可能的条件计划，这使得计算复杂度极高。为了解决这个问题，可以采用动态规划的方法，借鉴POMDP中的值迭代方法，在扩展考虑的条件计划深度和修剪次优计划之间进行迭代。

以下是实现该动态规划方法的Algorithm 26.4的主要步骤：
1. 构建一步计划 ：首先构建所有的一步计划。
2. 修剪计划 ：修剪被其他计划支配的计划。一个计划 $\pi_i$ 如果存在另一个计划 $\pi_i’$ ，使得 $\pi_i’$ 始终至少和 $\pi_i$ 表现一样好，那么 $\pi_i$ 就可以被修剪掉。这可以通过求解一个线性规划来检查。
3. 扩展计划 ：扩展所有一步计划的组合，生成两步计划。
4. 重复过程 ：重复扩展和修剪的过程，直到达到期望的时间范围。

以下是相关代码实现：

struct POMGDynamicProgramming
    b
    # initial belief
    d
    # depth of conditional plans
end

function solve(M::POMGDynamicProgramming, 𝒫::POMG)
    ℐ, 𝒮, 𝒜, R, γ, b, d = 𝒫.ℐ, 𝒫.𝒮, 𝒫.𝒜