25 KiB
KAN不稳定/卡尔曼滤波 小波变换
郭款论文
整体逻辑
网络拓扑的生成与模拟
-
RW、RWP、RD模型：这几种随机移动模型用于模拟节点在动态网络中的移动情况，从而生成连续时间点上的网络快照（邻接矩阵）。
-
ER模型：作为静态网络模型，它提供了对比基准，用于验证重构算法在无动态扰动情况下的表现。
这些模型为实验提供了“真实”的网络拓扑数据（或称地面真值），即论文中构建和测试网络重构算法的基础数据来源。
网络拓扑的预测
- 卡尔曼滤波：在动态网络中，由于网络拓扑会随时间变化，直接获取每个时刻的真实拓扑通常不现实。论文利用卡尔曼滤波等预测算法，根据之前时刻网络的特征谱参数（如特征值和特征向量）来预测未来时刻的谱参数，为减少计算复杂度和降低噪声影响，通常只预测前 K 个最重要的特征谱参数，因为这部分信息包含了网络大部分的全局结构特征。
网络重构过程
- 基于对称非负矩阵分解的重构：利用预测得到的谱参数（卡尔曼滤波预测的特征值和特征向量），可以对网络邻接矩阵进行逆向重构。这一步可以看作是“从低维（特征）恢复高维（原始邻接矩阵）”的过程，但由于预测误差和噪声，得到的初步重构矩阵通常存在一定偏差。
矢量量化算法的应用
- 矢量量化（如改进的模糊 C 均值聚类）：为了消除初步重构矩阵中的小幅扰动和噪声，通过对矩阵元素进行聚类量化，将分散的数值映射到各自的“代表值”上，从而提高重构精度。这个步骤实际上起到了“降噪”和“修正预测误差”的作用，使得最终的重构网络拓扑更加准确。
矢量量化
矢量量化的基本思想是将输入数据点视为多维向量，并将其映射到一个码本（codebook）中的最接近的码字。码本是预先确定的一组离散的向量，通常通过无监督学习方法（如K-means）从大量训练数据中得到。在矢量量化中，输入数据点与码本中的码字之间的距离度量通常使用欧氏距离。通过选择最接近的码字作为量化结果，可以用较少的码字表示输入数据，从而实现数据的压缩。同一个码字能够代表多个相似的多维向量,从而实现了多对一的映射。
为什么引入矢量量化理论？
在谱分解重构过程中，由于特征值和特征向量的预测存在误差，每个矩阵元素可能会略微偏离理想值。例如，对于一个理想的 0/1 邻接矩阵，真实的连接应为 $1$，而不连接应为 $0$。由于预测误差，实际重构矩阵可能出现如下数值：
\begin{bmatrix}
0 & 0.98 & 0.03 \\
0.97 & 0 & 1.02 \\
0.05 & 1.01 & 0 \\
\end{bmatrix}
这里，0.98, 0.97, 1.02, 1.01 这些数值本来应该都是 $1$，但由于误差略有偏离；同样，0.03 和 0.05 本应为 $0$。
矢量量化通过将多个离散的扰动值聚类映射到固定值（如0/1或权值），消除随机误差，提高重构精度。
理想的量化后的矩阵：
\begin{bmatrix}
0 & 1 & 0 \\
1 & 0 & 1 \\
0 & 1 & 0 \\
\end{bmatrix}
K-means矢量量化示例
假设我们有 4 个二维数据点，希望将它们分成 2 类，即构造一个包含 2 个码字的码本。整个过程类似于 k-means 聚类。
1. 数据矩阵
设原始数据矩阵为
X=\begin{pmatrix}
1 & 2 \\
1.2 & 2.1 \\
3 & 4 \\
2.9 & 3.8
\end{pmatrix}.
这 4 个数据点中，前两个点大致聚集在一起，后两个点大致在另一处。
- 初始化码本
我们希望构造一个码本矩阵 $C$，初始时可以从数据中随机选择两个点作为码字。假设选择 x_1=(1,2) 和 $x_3=(3,4)$，则初始码本为
C^{(0)}=\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}.
其中，每一行代表一个码字。
- 分配数据点到码字
对于每个数据点，计算它与各个码字之间的欧氏距离，并将其分配到距离最近的码字。下面计算各数据点到码字的距离（这里只计算距离的平方，便于比较）：
-
数据点 $x_1=(1,2)$：
- 到码字 1
(1,2)的距离平方：(1-1)^2+(2-2)^2=0 - 到码字 2
(3,4)的距离平方：(1-3)^2+(2-4)^2=4+4=8
分配：
x_1属于码字 1。 - 到码字 1
-
数据点 $x_2=(1.2,2.1)$：
- 到码字 1
(1,2)的距离平方：(1.2-1)^2+(2.1-2)^2=0.04+0.01=0.05 - 到码字 2
(3,4)的距离平方：(1.2-3)^2+(2.1-4)^2\approx3.24+3.61=6.85
分配：
x_2属于码字 1。 - 到码字 1
-
数据点 $x_3=(3,4)$：
- 到码字 1
(1,2)的距离平方：(3-1)^2+(4-2)^2=4+4=8 - 到码字 2
(3,4)的距离平方：0
分配：
x_3属于码字 2。 - 到码字 1
-
数据点 $x_4=(2.9,3.8)$：
- 到码字 1
(1,2)的距离平方：(2.9-1)^2+(3.8-2)^2\approx3.61+3.24=6.85 - 到码字 2
(3,4)的距离平方：(2.9-3)^2+(3.8-4)^2=0.01+0.04=0.05
分配：
x_4属于码字 2。 - 到码字 1
可以将分配结果用指示矩阵 Z 表示，每行对应一个数据点，每列对应一个码字，若数据点分配给该码字，则对应位置为 1，否则为 0。于是
Z=\begin{pmatrix}
1 & 0 \\
1 & 0 \\
0 & 1 \\
0 & 1
\end{pmatrix}.
- 更新码字
对于每个码字，计算分配给该码字的数据点的均值，更新码字。更新公式为
c_k = \frac{1}{|S_k|}\sum_{x\in S_k} x,
其中 S_k 表示被分配给第 k 个码字的点的集合。
-
对于码字 1：
数据点x_1=(1,2)和 $x_2=(1.2,2.1)$，
新码字为c_1^{(1)}=\left(\frac{1+1.2}{2},\frac{2+2.1}{2}\right) = (1.1,\ 2.05). -
对于码字 2：
数据点x_3=(3,4)和 $x_4=(2.9,3.8)$，
新码字为c_2^{(1)}=\left(\frac{3+2.9}{2},\frac{4+3.8}{2}\right) = (2.95,\ 3.9).
因此，更新后的码本矩阵为
C^{(1)}=\begin{pmatrix}
1.1 & 2.05 \\
2.95 & 3.9
\end{pmatrix}.
- 重复迭代
通常，矢量量化的过程会不断迭代“分配数据点”和“更新码字”的步骤，直到码本收敛或达到预设的迭代次数。上述过程就是一次完整的迭代。实际中可能需要多次迭代来使码本更好地逼近数据的分布。
传统Kmeans的局限：
对初始簇中心敏感
- K-means 需要预先设定簇的数量 $K$并随机初始化簇中心，初始选择不佳可能导致算法收敛到局部最优解，而非全局最优。
对离群点敏感
- 算法使用均值来更新簇中心，离群点会显著影响均值的计算，从而使得簇中心偏离真实的“中心”位置，进而影响整体聚类效果。
硬性划分（硬聚类）
- 每个数据点只能被分配到一个簇，无法反映数据点可能同时具有多个簇的隶属关系。对于边界数据来说，这种“一刀切”的划分可能导致信息丢失。
需要预先确定K 值
- 算法必须事先指定簇的数量，但在许多实际问题中，合适的
K值可能难以确定，并且对最终结果有较大影响。
PAM算法
主要流程如下 ：
-
初始化
通过谱分解方法获得重构后的网络邻接矩阵，并根据预先确定的簇数 K 初始化 K 个簇中心。 -
分配阶段
计算矩阵中每个元素$a_{ij} $与所有簇中心之间的欧氏距离 (d_{ij})（即 ($\sqrt{(a_{ij} - C_k)^2}$)），并将该元素分配给距离最近的簇。 时间复杂度：O(nk) -
更新簇中心
-
对于某个簇 $C_k$，我们先将该簇中所有的数据点(除去原簇中心)都作为候选中心，即构成集合 $P$。
-
对于集合
P中的每一个候选点 $p$，计算它与同一簇中其他所有点的距离总和：
D(p) = \sum_{q \in C_k, \, q \neq p} d(p, q)其中
d(p, q)通常用欧氏距离或其他合适的距离度量表示。-
选取使
D(p)最小的那个候选点作为新的簇中心 $C_k$。时间复杂度分析：需要尝试的替换次数：$k \times (n-k)$ 每次替换需要对所有(n)个元素重新分配并计算代价，则该阶段在一次完整迭代中的最坏情况下复杂度为
O\bigl(k \times (n - k) \times n\bigr)\,.当
k相对n不是特别大时，可近似视为O(n^2 k)\,.
-
-
迭代
重复“分配阶段”和“更新簇中心”两个步骤，直到簇中心值不再发生变化或元素的分配不再改变为止。 -
量化处理
聚类完成后，对原矩阵中每个元素进行量化，即将其映射为其所属簇的中心值，得到误差被有效消除的量化重构矩阵。 -
输出结果
最终输出经过量化处理后的矩阵，该矩阵的重构误差明显降低，尤其在存在较大扰动或离群值的情况下，PAM 算法可以较好地缓解这些因素带来的负面影响。
PAM 改进了离群点的问题，但它依然属于硬性聚类方法，且计算成本大
FCM算法
FCM的目标是将矩阵中的元素聚类到$K$个簇中，每个元素通过隶属度（概率值）表示其属于各簇的程度。以下是算法的详细步骤：
1. 初始化
- 输入：待聚类的矩阵 $A$（例如邻接矩阵）。
- 设置：簇数
K、模糊因子 $m$（通常取2）、收敛精度\epsilon、最大迭代次数。 - 初始化：随机生成隶属度矩阵
U和簇中心C。
2. 更新隶属度
对于每个元素 $a_{ij}$，计算其属于簇 k 的隶属度 \mu_k(a_{ij}) ：
\mu_k(a_{ij}) = \frac{1}{\sum_{l=1}^{K} \left( \frac{\|a_{ij} - c_k\|}{\|a_{ij} - c_l\|} \right)^{2/(m-1)}}
-
|$a_{ij} - c_k$| ：元素
$ a_{ij}$到簇中心$c_k$的距离（通常用欧氏距离）。 -
m：模糊因子，控制聚类的模糊程度(m=2 ) 时，隶属度更平滑）。 时间复杂度：计算单个隶属度需要
O(K)的(遍历所有 ($l=1,\dots,K$))由于要计算对 $K$个簇的隶属度，单个数据点的隶属度更新是 $O(K^2)$。
3. 更新簇中心
对于每个簇 k ，计算新的簇中心 c_k ：
c_k = \frac{\sum_{i,j} [\mu_k(a_{ij})]^m a_{ij}}{\sum_{i,j} [\mu_k(a_{ij})]^m}
- (
[\mu_k(a_{ij})]^m)：隶属度的加权值，表示元素对簇的贡献。
4. 判断收敛
- 计算簇中心的变化量 (
\Delta C = |C_{\text{new}} - C_{\text{old}}|)。 - 如果 ( $\Delta C < \epsilon $)，则停止迭代；否则返回步骤2。
5. 量化处理
- 根据隶属度将元素分配到概率最大的簇，并用簇中心值替换元素值。
具体矩阵例子
假设有一个$3×3$的邻接矩阵 ( A )：
A = \begin{bmatrix}
0.1 & 0.9 & 0.3 \\
0.8 & 0.2 & 0.7 \\
0.4 & 0.6 & 0.5 \\
\end{bmatrix}
目标是将矩阵元素聚类为2个簇( K=2 ），分别表示“连接”（簇1）和“断开”（簇2）。
步骤1：初始化
-
随机初始化簇中心：
c_1 = 0.2, \quad c_2 = 0.8 -
随机初始化隶属度矩阵 $U$（每行和为1）：
U = \begin{bmatrix} 0.6 & 0.4 \\ 0.3 & 0.7 \\ 0.5 & 0.5 \\ 0.8 & 0.2 \\ 0.4 & 0.6 \\ 0.7 & 0.3 \\ 0.9 & 0.1 \\ 0.2 & 0.8 \\ 0.5 & 0.5 \\ \end{bmatrix}
步骤2：更新隶属度
以元素 $a_{11}$ = 0.1 为例：
-
计算到簇1的距离：
\|a_{11} - c_1\| = |0.1 - 0.2| = 0.1 -
计算到簇2的距离：
\|a_{11} - c_2\| = |0.1 - 0.8| = 0.7 -
计算隶属度：
\mu_1(a_{11}) = \frac{1}{\left( \frac{0.1}{0.1} \right)^2 + \left( \frac{0.1}{0.7} \right)^2} \approx 0.98\mu_2(a_{11}) = 1 - \mu_1(a_{11}) \approx 0.02
步骤3：更新簇中心
以簇1为例：
-
计算加权和：
\sum_{i,j} [\mu_1(a_{ij})]^2 a_{ij} = (0.98)^2 \times 0.1 + (0.3)^2 \times 0.8 + \dots -
计算新的簇中心：
c_1 = \frac{\text{加权和}}{\sum_{i,j} [\mu_1(a_{ij})]^2}
步骤4：判断收敛
- 如果簇中心变化小于 ($ \epsilon $)，停止迭代。
步骤5：量化处理
- 根据隶属度将元素分配到簇1或簇2，并用簇中心值替换元素值。
初始簇中心选取优化方法
优化过程：
-
设邻接矩阵最大元素值为$p$，设定初始簇间距阈值$\theta = \frac{p}{K}$（$K$为预设簇数）
-
初始化候选集合$S_0$包含所有矩阵元素
-
迭代选择簇中心：
-
计算当前候选集中元素间最小距离
d_{min} -
选择具有$d_{min}$的两个元素，计算中心点作为新簇中心
C_i -
根据阈值$\theta$划分集合：
S_1 = \{ x \in S_0 \ | \ \|x - C_i\| \leq \theta \}S_2 = S_0 \setminus S_1 -
将$S_2$作为新的候选集，重复直到选出$K$个簇中心
-
数学约束： 对于选定的簇中心需满足：
\forall i,j \in [1,K], \ \|C_i - C_j\| \geq \theta
其中$\theta = \frac{\max(A)}{K}$，$A$为邻接矩阵。
FCM算法时间复杂度分析
网络节点数目为 $n$（不是矩阵的维度！），聚类簇数K
初始化步骤
- 初始化簇中心和隶属度矩阵 $U$：需要为每个数据点生成
K个隶属度值，需要O(nK)
更新隶属度
- 每个数据点
a_{ij}计算与每个簇中心c_k的距离：O(K) - 更新所有数据点的隶属度矩阵：
O(nK^2)
更新簇中心
- 计算每个簇的新中心（加权平均）：
O(nK) - 总体簇中心更新：
O(nK)
判断收敛
计算簇中心变化量 $\Delta C$：O(K)
量化处理
将元素分配到簇并替换值：O(nK)
每次迭代的总时间复杂度：
O(nK^2) + O(nK) + O(K) \approx O(nK^2)
其中：
- $n$：数据点数量
- $K$：簇数量
如果初始簇中心选取优化方法
- 选择
K个簇中心时：- 需要计算候选集内元素间最小距离
- 每次选择复杂度：
O(n^2)
- 总体选择复杂度：
O(Kn^2)
整个FCM时间复杂度：$O(Kn^2)+O(TnK^2)$，$T$为迭代次数
网络重构
对称非负矩阵分解（SNMF）要求输入矩阵 A 是对称且非负的，分解之后的矩阵 U 是非负的。
A \approx U U^T.
对称非负矩阵分解来构造网络的低维嵌入表示，从而实现对高维网络邻接矩阵的精确重构。
低维指的是分解后的 U 矩阵维度小->秩小->重构后的矩阵秩也小。
只需计算 U U^T 就能重构出 A 的低秩近似版本。如果选择保留全部特征（即 $r = n$），则可以精确还原 $A$；如果只取部分（$r < n$），那么重构结果就是 A 的低秩近似。
节点移动模型
模拟随机网络中节点的移动方式，进而间接模拟网络拓扑在不同时刻的变化。它们是用来在仿真环境下产生“网络结构随时间动态变化”的数据，从而让后续的网络重构或网络分析算法有一个逼近真实场景的测试环境。
RW（Random Walk，随机游走）模型
- 基本概念：在 随机游走（RW） 模型中，节点在一个定义的区域内随即选择方向并开始移动。每当节点到达区域的边界时，它会反弹并继续前进。节点的移动时间是固定的，且每个移动步骤都是独立的。
- 特点
- 节点移动过程中，节点的行进方向是完全随机的。
- 节点在到达区域边界时会选择一个新的角度进行反弹，并继续随机移动。
- 节点的移动是不规则的，每次运动的时间或距离是固定的，直到达到边界。
- 适用场景：适用于需要模拟节点在空间中随机漂移或无规律移动的场景，如某些类型的无人机网络或粒子运动模型。
RD（Random Direction，随机方向）模型
- 基本概念：在 随机方向（RD） 模型中，节点每次选择一个随机的方向，并在该方向上移动直到达到区域的边界。到达边界后，节点会随机选择一个新的目标方向，并继续移动。
- 特点
- 节点在每个时间片段内选择一个随机的方向，而不是随机选择目标。
- 节点在到达边界时会停留一段时间，然后选择一个新的随机方向。
- 该模型中，节点的运动行为更有方向性，与RW模型相比有更强的运动规律性。
- 适用场景：适用于需要模拟节点在特定方向上移动的情况，如某些类型的车载网络或定向通信网络。
RWP（Random Waypoint，随机路点）模型
- 基本概念：在 随机路点（RWP） 模型中，节点选择一个随机的位置作为目标点，然后以固定速度沿直线移动到该位置。到达目标点后，节点选择一个新的随机目标位置，并再次以相同的速度移动。
- 特点
- 节点移动到随机选定的目标位置，并在到达后停留一段时间。
- 该过程重复进行，每次都选择新的随机目标位置。
- 节点在任意时刻都有一个目标位置，而不是随机选择一个方向。
- 适用场景：适用于模拟节点有明确目标且周期性移动的网络场景，比如无线传感器网络和移动广告网络等。
参数
节点数量决定了在该活动半径内随机分布并移动的节点数量
通信半径 决定了网络中“谁能跟谁连边”，对 拓扑连通性 影响极大（如果两节点之间的距离小于等于通信半径，就认为它们之间存在连边）；
活动半径 决定了节点分布和移动范围，对 网络整体的稀疏/稠密程度、节点之间的平均距离都有重要影响。
基于 SNMF 的网络嵌入
文献[60]提出一种基于简化特征分解和整体旋转的近似方法(reduced Eigenvalue Decomposition，rEVD)：
- 先通过截断特征值/向量，构造一个 $B = X \Lambda^{1/2}$；
因此A\approx BB^T - 不断“旋转” $B$（乘以酉矩阵 $Q$）并对负值做截断，从而让最终的
U既接近B又满足非负性。
这相当于把一部分“逼近”工作用特征分解先做了，然后只用旋转矩阵Q来调整局部负值，再配合\max(0,\cdot)截断满足非负约束。
矩阵重构算法步骤为：
-
输入
- 特征向量矩阵
X \in \mathbb{R}^{n \times r} - 特征值矩阵
\Lambda \in \mathbb{R}^{r \times r}
- 特征向量矩阵
-
初始化
B = X \Lambda^{\frac{1}{2}}, \quad Q = I, \quad U = max(0,B) ，\varepsilon -
交替更新
U, $Q$U = \max\bigl(0, B Q\bigr) -
继续更新 $Q$
F = U^T B \quad \Rightarrow \quad [H, \Sigma, V] = \text{svd}(F), \quad Q = V H^T -
重复步骤 3、4，直到满足迭代停止条件
\|U^T(U - BQ)\|_F^2 \le \varepsilon -
令
A' = U U^T -
输出精确重构矩阵 对$A'$中各元素通过后续 FCM 算法进行聚类量化。
这里得到的 U \in \mathbb{R}^{n \times r}
例：假设我们有一个 3 \times 3 对称非负矩阵
A=\begin{bmatrix}
4 & 2 & 1\\
2 & 3 & 2\\
1 & 2 & 3
\end{bmatrix}
\qquad(\text{显然 }A=A^{\mathsf T},\;A_{ij}\ge 0)
1. 初始步骤：构造 B 和 $Q$
首先对 A 做谱分解，或者卡尔曼滤波预测得到（已知结果）,：
A=X\Lambda X^{\mathsf T},\quad
\Lambda=\operatorname{diag}(6.7136,\;2.5171,\;0.7693)
X=
\begin{bmatrix}
-0.6265 & -0.7166 & 0.3065\\
-0.6032 & 0.1968 & -0.7729\\
-0.4936 & 0.6691 & 0.5556
\end{bmatrix}
假设只保留最大的两条特征线
X_r=
\begin{bmatrix}
-0.6265 & -0.7166\\
-0.6032 & 0.1968\\
-0.4936 & 0.6691
\end{bmatrix},
\qquad
\Lambda_r=\operatorname{diag}(6.7136,\;2.5171)
B=X_r\Lambda_r^{1/2} =
\begin{bmatrix}
-1.6233 & -1.1370\\
-1.5630 & \;\;0.3122\\
-1.2789 & \;\;1.0616
\end{bmatrix}
2.rEVD 迭代（示范 0 \to 1 \to \dots \to 9 步）
| 迭代 | $Q^{(k)}$（$2 \times 2$） | $U^{(k)}=\max(0,BQ^{(k)})$（列举主要行） | 误差 \lVert U^{\mathsf T}(U-BQ)\rVert_F^2 |
|---|---|---|---|
| 0 | I |
\begin{bmatrix}0&0\\0&0.3122\\0&1.0616\end{bmatrix} |
3.4063 |
| 1 | \begin{bmatrix}\;0.5528&-0.8333\\0.8333&0.5528\end{bmatrix} |
\begin{bmatrix}0&0.7241\\0&1.4750\\0.1776&1.6526\end{bmatrix} |
4.9581 |
| 2 | … | … | 3.8632 |
| ··· | … | … | … |
| 9 | — | \begin{bmatrix}0&1.9814\\1.1283&1.1258\\1.5933&0.4731\end{bmatrix} |
0.0072 |
每一轮都先
$F=U^{\mathsf T}B\stackrel{\text{svd}}{=}!H\Sigma V^{\mathsf T},;Q=VH^{\mathsf T}$，
再 $U=\max(0,BQ)$。
到第 9 步误差已降到 $7\times10^{-3}$，继续几步即可达到更小容差。
3.最终非负矩阵 U 及重构
U=\!
\begin{bmatrix}
0.0000 & 1.9814\\
1.1283 & 1.1258\\
1.5933 & 0.4731
\end{bmatrix},
\qquad
A' = UU^{\mathsf T}=
\begin{bmatrix}
3.9259 & 2.2307 & 0.9374\\
2.2307 & 2.5404 & 2.3303\\
0.9374 & 2.3303 & 2.7626
\end{bmatrix}
原矩阵 A 的差：
A-A'=
\begin{bmatrix}
\;0.0741 & -0.2307 & 0.0626\\
-0.2307 & \;0.4596 & -0.3303\\
\;0.0626 & -0.3303 & 0.2374
\end{bmatrix}
已处于可接受的近似误差范围，并且 U 与 A' 均为非负，即可直接用于后续的 SNMF-based 网络嵌入或聚类量化。
重构误差分析
初始传入的 \kappa 个特征对
| 参数 | 决定了什么 | 会发生什么事 |
|---|---|---|
| $\kappa$（截断阶数 / 嵌入维度） | 你允许模型用多少自由度来"拟合"原始矩阵 | 先天上把可达到的最小误差卡死在一个下界 |
-
截断误差（不可避免）
只保留前\kappa条特征线以后，任何再聪明的算法都只能在这r维子空间 里折腾；
理论上最好的也就是\|A - X_{\kappa}\Lambda_{\kappa}rX_{\kappa}^{\!\top}\|_F^2 \;=\; \sum_{i={\kappa}+1}^{r}\lambda_i^2,也就是把后面没选的特征值的平方加起来。
\kappa选小了，这个和就大——这是 谱截断误差，跟迭代多少次无关。 -
优化误差（可迭代消除）
rEVD / SNMF 的迭代只是想在"既保持\text{rank} \leq \kappa, 又非负"这两个约束里，把误差降到 谱截断极限之上最小。
迭代越多，这一部分误差会指数式衰减到机器精度；但它永远不可能穿透前面的"墙"。
一句话：迭代能消掉"姿势不对"的误差，却消不掉"维度不够"的误差。
疑问
！！！为什么采用SNMF?
得到可解释、非负的低维表示 U
卡尔曼滤波得到的特征值和特征向量存在噪声 直接进行谱分解重构会导致重构出来的矩阵不满足对称性。但是SNMF在迭代的过程中增加了非负且对称的约束！
可以确保 A' = UU^{\mathsf T} 得到的重构矩阵是对称且非负的！！！
时间复杂度分析
(1) 初始构造阶段（假设特征值 特征向量已提前获取，不做分析）
构造矩阵 B = X\Lambda^{1/2}
X 是 $n \times r$，\Lambda^{1/2} 是 r \times r 对角矩阵。
\mathcal{O}(nr^2) \quad (r \ll n)
(2) 迭代过程
计算 $U = \max(0, B Q)$
B 是 $n \times r$，Q 是 $r \times r$。
\mathcal{O}(n r^2)
计算 $F = U^T B$
U^T 是 $r \times n$，B 是 $n \times r$。
\mathcal{O}(n r^2)
对 F 进行 SVD
F 是 r \times r 的矩阵。
SVD 的时间复杂度：$\mathcal{O}(r^3)$。
更新 $Q = V H^T$
V 和 H 是 $r \times r$。
\mathcal{O}(r^3)
(3)重构A
A \approx U U^T.
\mathcal{O}(n^2 r)
(3) 由于通常 $n \gg r$，\mathcal{O}(n r^2) 是主导项，故总复杂度（其中 T 为迭代次数）
{O}(n^2 r+Tn r^2)
两种求对称非负矩阵分解的方法
-
纯梯度下降
- 优点：实现原理简单，对任意大小/形状的矩阵都能做。
- 缺点：收敛速度有时较慢，且对初始值敏感。
-
rEVD + 旋转截断 （示例方法）
- 优点：利用了特征分解，可以先一步把主要信息“压缩”进 $B$，后续只需解决“如何把负数修正掉”以及“如何微调逼近”。
- 缺点：需要先做特征分解，适合于对称矩阵或低秩场景。