189 lines
5.8 KiB
Markdown
189 lines
5.8 KiB
Markdown
|
## 图神经网络
|
|||
|
|
|
|||
|
|
图表示学习的本质是把节点映射成低维连续稠密的向量。这些向量通常被称为 **嵌入（Embedding）**，它们能够捕捉节点在图中的结构信息和属性信息，从而用于下游任务（如节点分类、链接预测、图分类等）。
|
|||
|
|
|
|||
|
|
- **低维**：将高维的原始数据（如邻接矩阵或节点特征）压缩为低维向量，减少计算和存储开销。
|
|||
|
|
- **连续**：将离散的节点或图结构映射为连续的向量空间，便于数学运算和捕捉相似性。
|
|||
|
|
- **稠密**：将稀疏的原始数据转换为稠密的向量，每个维度都包含有意义的信息。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
### 对图数据进行深度学习的“朴素做法”
|
|||
|
|
|
|||
|
|
把图的邻接矩阵和节点特征“直接拼接”成固定维度的输入，然后将其送入一个深度神经网络（全连接层）进行学习。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
这种做法面临重大问题，导致其**并不可行**：
|
|||
|
|
|
|||
|
|
1. **$O(|V|^2)$ 参数量** ，参数量庞大
|
|||
|
|
|
|||
|
|
2. **无法适应不同大小的图** ，需要固定输入维度
|
|||
|
|
|
|||
|
|
3. **对节点顺序敏感** ，节点编号顺序一变，输入就完全变样，但其实图的拓扑并没变（仅节点编号/排列方式不同）。
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
A —— B
|
|||
|
|
| |
|
|||
|
|
D —— C
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
*矩阵 1*（顺序 $[A,B,C,D]$）：
|
|||
|
|
$$
|
|||
|
|
M_1 =
|
|||
|
|
\begin{pmatrix}
|
|||
|
|
0 & 1 & 0 & 1\\
|
|||
|
|
1 & 0 & 1 & 0\\
|
|||
|
|
0 & 1 & 0 & 1\\
|
|||
|
|
1 & 0 & 1 & 0
|
|||
|
|
\end{pmatrix}.
|
|||
|
|
$$
|
|||
|
|
*矩阵 2*（顺序 $[C,A,D,B]$）：
|
|||
|
|
$$
|
|||
|
|
M_2 =
|
|||
|
|
\begin{pmatrix}
|
|||
|
|
0 & 0 & 1 & 1 \\
|
|||
|
|
0 & 0 & 1 & 1 \\
|
|||
|
|
1 & 1 & 0 & 0 \\
|
|||
|
|
1 & 1 & 0 & 0
|
|||
|
|
\end{pmatrix}.
|
|||
|
|
$$
|
|||
|
|
|
|||
|
|
两个矩阵完全不同，但**它们对应的图是相同的**（只不过节点的顺序改了）。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
### **邻居聚合**
|
|||
|
|
|
|||
|
|
#### **计算图**
|
|||
|
|
|
|||
|
|
在**图神经网络**里，通常每个节点$v$ 都有一个**局部计算图**，用来表示该节点在聚合信息时所需的所有邻居（及邻居的邻居……）的依赖关系。
|
|||
|
|
|
|||
|
|
- 直观理解
|
|||
|
|
- 以节点 $v$ 为根；
|
|||
|
|
- 1-hop 邻居在第一层，2-hop 邻居在第二层……
|
|||
|
|
- 逐层展开直到一定深度（例如 k 层）。
|
|||
|
|
- 这样形成一棵“邻域树”或“展开图”，其中每个节点都需要从其子节点（邻居）获取特征进行聚合。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
**例子**
|
|||
|
|
|
|||
|
|
在图神经网络中，每一层的计算通常包括以下步骤：
|
|||
|
|
|
|||
|
|
1. **聚合（Aggregation）**：将邻居节点的特征聚合起来（如求和、均值、最大值等）。
|
|||
|
|
|
|||
|
|
2. **变换（Transformation）**：将聚合后的特征通过一个神经网络（如 MLP）进行非线性变换。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
A
|
|||
|
|
|
|
|||
|
|
B
|
|||
|
|
/ \
|
|||
|
|
C D
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
假设每个节点的特征是一个二维向量：
|
|||
|
|
|
|||
|
|
- 节点 $ A $ 的特征：$ h_A = [1.0, 0.5] $
|
|||
|
|
- 节点 $ B $ 的特征：$ h_B = [0.8, 1.2] $
|
|||
|
|
- 节点 $ C $ 的特征：$ h_C = [0.3, 0.7] $
|
|||
|
|
- 节点 $ D $ 的特征：$ h_D = [1.5, 0.9] $
|
|||
|
|
|
|||
|
|
**第 1 层更新：$A^{(0)} \to A^{(1)}$**
|
|||
|
|
|
|||
|
|
1. **节点 $A$ 的 1-hop 邻居**：只有 $B$。
|
|||
|
|
|
|||
|
|
2. **聚合**（示例：自 + sum 邻居）：
|
|||
|
|
$$
|
|||
|
|
z_A^{(1)} \;=\; A^{(0)} + B^{(0)}
|
|||
|
|
\;=\; [1.0,\,0.5] + [0.8,\,1.2]
|
|||
|
|
\;=\; [1.8,\,1.7].
|
|||
|
|
$$
|
|||
|
|
|
|||
|
|
3. **MLP 变换**：用一个MLP映射 $z_A^{(1)}$ 到 2 维输出：
|
|||
|
|
$$
|
|||
|
|
A^{(1)} \;=\; \mathrm{MLP_1}\bigl(z_A^{(1)}\bigr).
|
|||
|
|
$$
|
|||
|
|
|
|||
|
|
- （数值略，可想象 $\mathrm{MLP}([1.8,1.7]) \approx [1.9,1.1]$ 之类。）
|
|||
|
|
|
|||
|
|
**结果**：$A^{(1)}$ 包含了 **A** 的初始特征 + **B** 的初始特征信息。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
**第 2 层更新：$A^{(1)} \to A^{(2)}$**
|
|||
|
|
|
|||
|
|
为了让 **A** 获得 **2-hop** 范围（$C, D$）的信息，需要**先**让 **B** 在第 1 层就吸收了 $C, D$ 的特征，从而 **B^{(1)}** 蕴含 $C, D$ 信息。然后 **A** 在第 2 层再从 **B^{(1)}** 聚合。
|
|||
|
|
|
|||
|
|
1. **节点 B 在第 1 层**（简要说明）
|
|||
|
|
|
|||
|
|
- 邻居：$\{A,C,D\}$
|
|||
|
|
- 聚合：$z_B^{(1)} = B^{(0)} + A^{(0)} + C^{(0)} + D^{(0)}$
|
|||
|
|
- MLP 变换：$B^{(1)} = \mathrm{MLP}\bigl(z_B^{(1)}\bigr)$。
|
|||
|
|
- 此时 **B^{(1)}** 已经包含了 $C, D$ 的信息。
|
|||
|
|
|
|||
|
|
2. **节点 $A$ 的第 2 层聚合**
|
|||
|
|
|
|||
|
|
- 邻居：$B$，但此时要用 **B^{(1)}**（它已吸收 C、D）
|
|||
|
|
|
|||
|
|
- **聚合**：
|
|||
|
|
$$
|
|||
|
|
z_A^{(2)} = A^{(1)} + B^{(1)}.
|
|||
|
|
$$
|
|||
|
|
|
|||
|
|
- **MLP 变换**：
|
|||
|
|
$$
|
|||
|
|
A^{(2)} = \mathrm{MLP_2}\bigl(z_A^{(2)}\bigr).
|
|||
|
|
$$
|
|||
|
|
|
|||
|
|
**结果**：$A^{(2)}$ 就包含了 **2-hop** 范围的信息，因为 **B^{(1)}** 中有 $C, D$ 的贡献。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
**GNN 的层数**就是**节点聚合邻居信息的迭代次数**，对应了“节点感受 k-hop 邻域”的深度。每层中，节点会用上一层的邻居表示进行聚合并经过可学习的变换，最终得到本层新的节点表示。
|
|||
|
|
|
|||
|
|
同一层里，**所有节点共享一组参数**（同一个 MLP 或线性变换）
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
public boolean hasCycle(ListNode head) {
|
|||
|
|
// 如果链表为空或者只有一个节点，直接返回无环
|
|||
|
|
if (head == null || head.next == null) {
|
|||
|
|
return false;
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
// 用 originalHead 保存最初的头节点
|
|||
|
|
ListNode originalHead = head;
|
|||
|
|
// 从 head.next 开始遍历，先把 head 与链表分离
|
|||
|
|
ListNode cur = head.next;
|
|||
|
|
ListNode pre = head;
|
|||
|
|
// 断开 head 和后面的连接
|
|||
|
|
head.next = null;
|
|||
|
|
|
|||
|
|
while (cur != null) {
|
|||
|
|
// 如果当前节点又指回了 originalHead，则说明出现环
|
|||
|
|
if (cur == originalHead) {
|
|||
|
|
return true;
|
|||
|
|
}
|
|||
|
|
// 反转指针
|
|||
|
|
ListNode temp = cur.next;
|
|||
|
|
cur.next = pre;
|
|||
|
|
// 移动 pre 和 cur
|
|||
|
|
pre = cur;
|
|||
|
|
cur = temp;
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
// 走到空指针，说明无环
|
|||
|
|
return false;
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|