188 lines
8.4 KiB
Markdown
188 lines
8.4 KiB
Markdown
---
|
||
|
||
## 该部分主要内容概述
|
||
|
||
在这部分（论文 2.1 节 “Graph Attentional Layer”）中，作者提出了图注意力网络（GAT）中最核心的运算：**图注意力层**。它的基本思想是：
|
||
|
||
1. **线性变换**：先对每个节点的特征 $\mathbf{h}_i$ 乘上一个可学习的权重矩阵 $W$，得到变换后的特征 $W \mathbf{h}_i$。
|
||
2. **自注意力机制**：通过一个可学习的函数 $a$，对节点 $i$ 和其邻居节点 $j$ 的特征进行计算，得到注意力系数 $e_{ij}$。这里会对邻居进行遮蔽（masked attention），即只计算图中有边连接的节点对。
|
||
3. **归一化**：将注意力系数 $e_{ij}$ 通过 softmax 进行归一化，得到 $\alpha_{ij}$，表示节点 $j$ 对节点 $i$ 的重要性权重。
|
||
4. **聚合**：最后利用注意力系数加权邻居节点的特征向量，并经过激活函数得到新的节点表示 $\mathbf{h}_i'$。
|
||
5. **多头注意力**：为增强表示能力，可并行地执行多个独立的注意力头（multi-head attention），再将它们的结果进行拼接（或在最后一层进行平均），从而得到最终的节点表示。
|
||
|
||
该部分给出的公式主要包括注意力系数的计算、softmax 归一化、多头注意力的聚合方式等，下面逐一用 Markdown 数学公式的形式列出。
|
||
|
||
---
|
||
|
||
## 公式列表（Markdown 格式）
|
||
|
||
> **注意**：以下公式与论文中编号对应（如 (1)、(2)、(3)、(4)、(5)、(6) 等）。
|
||
|
||
1. **注意力系数（未归一化）**
|
||
$$
|
||
e_{ij} = a\bigl(W\mathbf{h}_i,\; W\mathbf{h}_j\bigr)
|
||
$$
|
||
|
||
2. **注意力系数的 softmax 归一化**
|
||
$$
|
||
\alpha_{ij} = \text{softmax}_j\bigl(e_{ij}\bigr)
|
||
= \frac{\exp\bigl(e_{ij}\bigr)}{\sum_{k \in \mathcal{N}_i} \exp\bigl(e_{ik}\bigr)}
|
||
$$
|
||
|
||
$\alpha_{ij}$表示节点 $i$ 对节点 $j$ 的注意力权重
|
||
|
||
3. **具体的注意力计算形式（以单层前馈网络 + LeakyReLU 为例）**
|
||
|
||
$$
|
||
\alpha_{ij}
|
||
= \frac{\exp\Bigl(\text{LeakyReLU}\bigl(\mathbf{a}^\top \bigl[\;W\mathbf{h}_i \,\|\, W\mathbf{h}_j\bigr]\bigr)\Bigr)}
|
||
{\sum_{k\in \mathcal{N}_i} \exp\Bigl(\text{LeakyReLU}\bigl(\mathbf{a}^\top \bigl[\;W\mathbf{h}_i \,\|\, W\mathbf{h}_k\bigr]\bigr)\Bigr)}
|
||
$$
|
||
|
||
其中，$\mathbf{a}$ 为可学习的参数向量，$\|$ 表示向量拼接（concatenation）。
|
||
|
||
4. **单头注意力聚合（得到新的节点特征）**
|
||
$$
|
||
\mathbf{h}_i' = \sigma\Bigl(\sum_{j \in \mathcal{N}_i} \alpha_{ij} \,W \mathbf{h}_j\Bigr)
|
||
$$
|
||
|
||
其中，$\sigma$ 表示非线性激活函数（如 ELU、ReLU 等），$\mathcal{N}_i$ 表示节点 $i$ 的邻居节点集合（可包含 $i$ 自身）。
|
||
|
||
5. **多头注意力（隐藏层时拼接）**
|
||
如果有 $K$ 个独立的注意力头，每个头输出 $\mathbf{h}_i'^{(k)}$，则拼接后的输出为：
|
||
$$
|
||
\mathbf{h}_i' =
|
||
\big\Vert_{k=1}^K
|
||
\sigma\Bigl(\sum_{j \in \mathcal{N}_i} \alpha_{ij}^{(k)} \, W^{(k)} \mathbf{h}_j\Bigr)
|
||
$$
|
||
其中，$\big\Vert$ 表示向量拼接操作，$\alpha_{ij}^{(k)}$、$W^{(k)}$ 分别为第 $k$ 个注意力头对应的注意力系数和线性变换。
|
||
|
||
6. **多头注意力（输出层时平均）**
|
||
在最终的输出层（例如分类层）通常会将多个头的结果做平均，而不是拼接：
|
||
$$
|
||
\mathbf{h}_i' =
|
||
\sigma\Bigl(
|
||
\frac{1}{K} \sum_{k=1}^K \sum_{j \in \mathcal{N}_i}
|
||
\alpha_{ij}^{(k)} \, W^{(k)} \mathbf{h}_j
|
||
\Bigr)
|
||
$$
|
||
|
||
---
|
||
|
||
以上即是论文中 2.1 节（Graph Attentional Layer）出现的主要公式及其简要说明。
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
### 2. **GAT 的聚合方式**
|
||
|
||
- **GAT** 使用了一种**自适应的、可学习的注意力机制**来聚合节点及其邻居的信息。
|
||
- 具体来说，GAT 的聚合公式为：
|
||
$$
|
||
h_i^{(l+1)} = \sigma\left(\sum_{j \in \mathcal{N}(i) \cup \{i\}} \alpha_{ij} W h_j^{(l)}\right)
|
||
$$
|
||
其中：
|
||
- $\alpha_{ij}$ 是节点 $i$ 和节点 $j$ 之间的**注意力系数**，通过以下方式计算：
|
||
$$
|
||
\alpha_{ij} = \frac{\exp(\text{LeakyReLU}(a^T [W h_i \| W h_j]))}{\sum_{k \in \mathcal{N}(i) \cup \{i\}} \exp(\text{LeakyReLU}(a^T [W h_i \| W h_k]))}
|
||
$$
|
||
- $a$ 是一个可学习的注意力向量。
|
||
- $\|$ 表示特征拼接操作。
|
||
- $W$ 是可学习的权重矩阵。
|
||
- $\sigma$ 是非线性激活函数。
|
||
|
||
- **特点**：
|
||
- GAT 的聚合权重是**动态的**，通过注意力机制学习得到。
|
||
- 权重是非对称的，且可以捕捉节点之间的复杂关系。
|
||
- 相当于对节点及其邻居进行了一种**加权信息传递**，权重由数据驱动。
|
||
|
||
---
|
||
|
||
### 3. **GCN 和 GAT 的对比**
|
||
| 特性 | GCN | GAT |
|
||
| ------------------ | ------------------------ | -------------------------- |
|
||
| **聚合方式** | 固定的加权平均 | 自适应的注意力加权 |
|
||
| **权重是否可学习** | 否（权重由节点度数决定） | 是（通过注意力机制学习） |
|
||
| **权重是否对称** | 是 | 否 |
|
||
| **表达能力** | 较弱（固定的聚合方式） | 较强（动态的聚合方式） |
|
||
| **计算复杂度** | 较低 | 较高（需要计算注意力系数） |
|
||
| **适用场景** | 简单的图结构任务 | 复杂的图结构任务 |
|
||
|
||
---
|
||
|
||
### 4. **直观理解**
|
||
- **GCN**：
|
||
- 类似于对邻居节点进行“民主投票”，每个邻居的权重是固定的（由度数决定）。
|
||
- 适合处理节点度数分布均匀、关系相对简单的图。
|
||
|
||
- **GAT**：
|
||
- 类似于对邻居节点进行“加权投票”，每个邻居的权重是动态学习的。
|
||
- 适合处理节点度数分布不均匀、关系复杂的图。
|
||
|
||
---
|
||
|
||
### 5. **总结**
|
||
- **GCN** 使用的是**固定的、归一化的加权平均**，权重由节点度数决定。
|
||
- **GAT** 使用的是**自适应的、可学习的注意力权重**，权重通过数据驱动的方式学习得到。
|
||
- GAT 的表达能力更强，但计算复杂度也更高；GCN 更简单高效，但表达能力相对较弱。
|
||
|
||
希望这个解释能帮助你更好地理解 GCN 和 GAT 的区别！如果还有疑问，欢迎继续讨论！
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
3blue1brown 的讲解试图让我们从几何和线性映射的角度来理解点乘，而不仅仅是将它看作一系列数的乘加运算。下面详细说明这一点。
|
||
|
||
假设有两个向量
|
||
$$
|
||
\mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \end{bmatrix}, \quad \mathbf{w} = \begin{bmatrix} w_1 \\ w_2 \end{bmatrix}.
|
||
$$
|
||
|
||
传统上，点乘定义为
|
||
$$
|
||
\mathbf{v} \cdot \mathbf{w} = v_1w_1 + v_2w_2.
|
||
$$
|
||
|
||
3blue1brown 的观点是：
|
||
|
||
- **将一个向量视为线性变换**
|
||
我们可以把 $\mathbf{v}$ 当作一个线性映射，它把任何向量 $\mathbf{w}$ 映射为一个实数，即
|
||
$$
|
||
T_{\mathbf{v}}(\mathbf{w}) = \mathbf{v}\cdot \mathbf{w}.
|
||
$$
|
||
这个映射 $T_{\mathbf{v}}$ 是一个**线性泛函**，它具有线性性：
|
||
$$
|
||
T_{\mathbf{v}}(a\mathbf{w}_1 + b\mathbf{w}_2) = aT_{\mathbf{v}}(\mathbf{w}_1) + bT_{\mathbf{v}}(\mathbf{w}_2).
|
||
$$
|
||
换句话说，$\mathbf{v}$ 变成了一个“工具”，通过这个工具我们可以“测量”任一向量在 $\mathbf{v}$ 方向上的分量大小。
|
||
|
||
- **几何直观**
|
||
如果我们记 $\theta$ 为 $\mathbf{v}$ 和 $\mathbf{w}$ 之间的夹角，则点乘也可以写作
|
||
$$
|
||
\mathbf{v} \cdot \mathbf{w} = \|\mathbf{v}\|\|\mathbf{w}\|\cos\theta.
|
||
$$
|
||
这里，$\|\mathbf{w}\|\cos\theta$ 就是 $\mathbf{w}$ 在 $\mathbf{v}$ 方向上的投影长度。当我们用 $\|\mathbf{v}\|$ 乘上这个投影长度时，就得到了一个度量，这个度量告诉我们 $\mathbf{w}$ 在 $\mathbf{v}$ 方向上“有多大”的贡献。
|
||
|
||
- **矩阵乘法的视角**
|
||
我们也可以把点乘看作行向量和列向量的矩阵乘法：
|
||
$$
|
||
\mathbf{v}\cdot \mathbf{w} = \begin{bmatrix} v_1 & v_2 \end{bmatrix}\begin{bmatrix} w_1 \\ w_2 \end{bmatrix}.
|
||
$$
|
||
在这个表达式中，$\begin{bmatrix} v_1 & v_2 \end{bmatrix}$ 就相当于一个将二维向量映射到实数的线性变换，也正是我们上面定义的 $T_{\mathbf{v}}(\cdot)$。
|
||
|
||
总结来说，3blue1brown 强调的点乘本质是：
|
||
- 把固定的向量 $\mathbf{v}$ 转换成一个线性映射（或线性泛函），这个映射作用在任意向量 $\mathbf{w}$ 上，返回一个标量；
|
||
- 这个标量不仅包含了 $\mathbf{w}$ 在 $\mathbf{v}$ 方向上的“投影”信息，而且反映了两者之间的对齐程度（通过余弦函数体现）；
|
||
- 因此，点乘不仅仅是数值运算，而是一个把向量转换成测量工具，从而揭示向量间角度和方向关系的过程。
|
||
|
||
|
||
|