32 lines
3.5 KiB
Markdown
32 lines
3.5 KiB
Markdown
### GAT 在多智能体强化学习中的衔接方式
|
||
|
||
| 位置 | 作用 | 关键公式 / 流程 | 典型引文 |
|
||
| --------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | -------- |
|
||
| **1. 把多智能体系统显式建模成图** | 训练时每一步根据空间/通信半径或 *k* 近邻规则，把 *N* 个智能体构成动态图 $G=(V,E)$；邻接矩阵 *A* 随场景变化而更新，从而刻画“谁会与谁交互” | – | – |
|
||
| **2. 节点特征准备** | 每个智能体的原始观测 $o_i$ 先经类型专属投影矩阵 $M_{\varphi_i}$ 映射到统一特征空间，得到 $o'_i$ 作为 **节点特征**（后续注意力汇聚的输入） | $o'_i = M_{\varphi_i} \cdot o_i$ | |
|
||
| **3. GAT 自适应信息融合** | 对每条边 $i\!\to\!j$ 计算注意力分数并 Soft-max 归一化 | $\alpha_{ij}=\mathrm{softmax}_j\bigl(\text{LeakyReLU}\,[W h_i \,\|\, W h_j]\bigr)$ | |
|
||
| | 按权重聚合邻居特征，得到携带局部交互信息的 $v_i$： | $v_i=\sum_{j\in\mathcal N_i}\alpha_{ij}\,W\,o'_j$ | |
|
||
| | 多头拼接 → 平均池化得到 **队伍级全局表示** $o_{\text{all}}$，每个智能体和后续 Critic 都可访问 | $o_{\text{all}}=\frac{1}{N}\sum_{i=1}^N\|_{h=1}^H v_i^{(h)}$ | |
|
||
| **4. 融入 CTDE 训练管线** | *Agent Network*：每个智能体的 RNN/GRU 接收 $[o'_i,\,o_{\text{all}}]$，输出局部 $Q_i$。<br>*Mixing Network*：沿 QMIX 单调性约束，用 $o_{\text{all}}$（或全局状态 $s$）作为超网络条件，将 $\{Q_i\}$ 汇聚成联合 $Q_{\text{tot}}$ | $Q_{\text{tot}} = \text{Mix}\bigl(Q_1,\dots,Q_N;\,s\text{ 或 }o_{\text{all}}\bigr)$ | |
|
||
| **5. 执行阶段** | 训练完毕后，每个智能体只保留依赖 $o_i$（或轻量通信）的策略参数，保持 **去中心化执行**；GAT 与联合 $Q$ 评估仅在集中式训练时使用 | – | – |
|
||
|
||
---
|
||
|
||
#### 为什么 GAT 能显著提升 MARL 表现？
|
||
|
||
1. **可变拓扑的自适应感知**
|
||
传统拼接/平均把所有邻居一视同仁；GAT 通过 $\alpha_{ij}$ 动态衡量邻居重要性，适应不断变化的通信或空间结构。
|
||
|
||
2. **减少信息冗余、突出关键交互**
|
||
注意力权重抑制无关或冗余邻居特征，只保留对当前决策真正有影响的信息，在复杂异构场景中尤为有效。
|
||
|
||
3. **统一异构观测的自动融合**
|
||
先投影再做图注意力，避免人工设计融合规则，支持 LiDAR、相机等多模态数据共存。
|
||
|
||
4. **更精确的联合 Q 估计 → 更快收敛**
|
||
消融实验显示，加入 GAT 后在 SMAC 的复杂对抗场景中赢率提升且达到同等胜率所需样本显著减少，证明其降低了 Critic 估计方差，缓解了非平稳性。
|
||
|
||
---
|
||
|
||
**一句话**：在多智能体强化学习里，GAT 把“谁与谁交互、交互强弱”编码成可训练的图注意力权重，将各智能体局部观测融合成全局队伍表示，供集中式 Critic 精准估值；这样既不破坏去中心化执行，又显著提升协作效率与收敛速度。
|