2025-05-05 10:12:08 +08:00
|
|
|
|
### **Bochner定理(Bochner's Theorem)简介**
|
|
|
|
|
Bochner定理是**调和分析(Harmonic Analysis)**中的一个重要定理,由数学家Salomon Bochner提出。它描述了**连续正定函数(positive definite functions)**与**非负有限测度(non-negative finite measures)**之间的对偶关系,在信号处理、概率论和机器学习(如核方法、时间编码)中有广泛应用。
|
2025-04-26 19:57:55 +08:00
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
2025-05-05 10:12:08 +08:00
|
|
|
|
### **1. 数学定义与公式**
|
|
|
|
|
Bochner定理的核心内容是:
|
|
|
|
|
> **一个连续函数 $ f: \mathbb{R}^d \to \mathbb{C} $ 是正定的(positive definite),当且仅当它是某个非负有限测度 $ \mu $ 的傅里叶变换。**
|
2025-04-29 18:12:50 +08:00
|
|
|
|
|
2025-05-05 10:12:08 +08:00
|
|
|
|
数学表达式为:
|
|
|
|
|
$$
|
|
|
|
|
f(\mathbf{t}) = \int_{\mathbb{R}^d} e^{i \boldsymbol{\omega}^\top \mathbf{t}} \, \mathrm{d}\mu(\boldsymbol{\omega}),
|
|
|
|
|
$$
|
|
|
|
|
其中:
|
|
|
|
|
- $ \mathbf{t} \in \mathbb{R}^d $ 是输入向量(如时间差、空间坐标等)。
|
|
|
|
|
- $ \boldsymbol{\omega} $ 是频率域变量,$ \mu(\boldsymbol{\omega}) $ 是频域上的非负测度(可理解为能量分布)。
|
|
|
|
|
- $ e^{i \boldsymbol{\omega}^\top \mathbf{t}} $ 是复指数函数(傅里叶基)。
|
2025-04-29 18:12:50 +08:00
|
|
|
|
|
2025-05-05 10:12:08 +08:00
|
|
|
|
#### **关键点**
|
|
|
|
|
- **正定函数**:满足对任意 $ n $ 个点 $ \mathbf{t}_1, \ldots, \mathbf{t}_n $,矩阵 $ [f(\mathbf{t}_i - \mathbf{t}_j)]_{i,j} $ 是半正定(positive semi-definite)的。
|
|
|
|
|
- **测度 $ \mu $**:代表频域的权重分布,可通过采样或优化学习得到。
|
2025-04-26 19:57:55 +08:00
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
2025-05-05 10:12:08 +08:00
|
|
|
|
### **2. 在TGAT论文中的应用**
|
|
|
|
|
TGAT论文利用Bochner定理设计**功能性时间编码(Functional Time Encoding)**,将时间差 $ \Delta t $ 映射为向量表示。具体步骤:
|
|
|
|
|
|
|
|
|
|
#### **(1)时间编码的构造**
|
|
|
|
|
根据Bochner定理,任意正定时间核函数 $ f(\Delta t) $ 可表示为:
|
|
|
|
|
$$
|
|
|
|
|
f(\Delta t) = \mathbb{E}_{\omega \sim \mu} \left[ e^{i \omega \Delta t} \right],
|
|
|
|
|
$$
|
|
|
|
|
其中 $ \mu $ 是频率 $ \omega $ 的分布。通过蒙特卡洛采样近似:
|
|
|
|
|
$$
|
|
|
|
|
f(\Delta t) \approx \frac{1}{k} \sum_{j=1}^k e^{i \omega_j \Delta t}, \quad \omega_j \sim \mu.
|
|
|
|
|
$$
|
|
|
|
|
|
|
|
|
|
#### **(2)实值化处理**
|
|
|
|
|
由于神经网络需实数输入,取实部并拆分为正弦和余弦函数:
|
|
|
|
|
$$
|
|
|
|
|
\phi(\Delta t) = \sqrt{\frac{1}{k}} \left[ \cos(\omega_1 \Delta t), \sin(\omega_1 \Delta t), \ldots, \cos(\omega_k \Delta t), \sin(\omega_k \Delta t) \right].
|
|
|
|
|
$$
|
|
|
|
|
这构成了TGAT中时间差 $ \Delta t $ 的编码向量。
|
|
|
|
|
|
|
|
|
|
#### **优势**
|
|
|
|
|
- **理论保障**:Bochner定理确保时间编码的数学合理性(正定性保持拓扑结构)。
|
|
|
|
|
- **灵活性**:通过调整 $ \mu $ 可适应不同时间尺度模式。
|
2025-04-26 19:57:55 +08:00
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
|
2025-05-05 10:12:08 +08:00
|
|
|
|
### **3. 与其他方法的对比**
|
|
|
|
|
- **传统位置编码(如Transformer的PE)**:仅适用于离散序列,无法泛化到任意时间差。
|
|
|
|
|
- **Bochner编码**:适用于连续时间域,且能通过学习 $ \mu $ 优化时间敏感性。
|
2025-04-24 19:00:14 +08:00
|
|
|
|
|
2025-04-26 19:57:55 +08:00
|
|
|
|
---
|
2025-04-24 19:00:14 +08:00
|
|
|
|
|
2025-05-05 10:12:08 +08:00
|
|
|
|
### **总结**
|
|
|
|
|
Bochner定理为TGAT的**连续时间编码**提供了理论基础,使其能够将任意时间差映射为可学习的向量表示,从而在动态图中有效捕捉时序依赖。这一方法超越了传统离散编码的局限性,是TGAT的核心创新之一。
|