zy123/md_files
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Commit on 2025/03/22 周六 11:38:03.63

Browse Source
This commit is contained in:
zhangsan 2025-03-22 11:38:03 +08:00
parent 9312df5116
commit 6722fcea38
6 changed files with 215 additions and 214 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
Java/Jupyter notebook快速上手.md
View File

@ -205,7 +205,7 @@ h 查看所有快捷键
```latex
这是一元二次方程求解公式
$$x = \frac{-b\pm \sqrt{b^2-4ac}}{2a}$$
$x = \frac{-b\pm \sqrt{b^2-4ac}}{2a}$
初中数学内容
```

17
Java/linux服务器.md
View File

@ -900,6 +900,8 @@ py脚本3：将本地图片上传到easyimage图床并将链接返回替换md文
[【好玩儿的Docker项目】10分钟搭建一个Typecho博客｜太破口！念念不忘，必有回响！-我不是咕咕鸽](https://blog.laoda.de/archives/docker-compose-install-typecho)
typecho:https://github.com/typecho/typecho/
注意：nginx一定要对typecho目录有操作权限！
```text
@ -987,14 +989,19 @@ rm -rf /root/data/docker_data/typecho # 完全删除映射到本地的数据
主题：https://github.com/HaoOuBa/Joe
Joe主题：https://github.com/HaoOuBa/Joe
[Joe再续前缘主题 - 搭建本站同款网站 - 易航博客](https://blog.yihang.info/archives/18.html)
markdown编辑器插件：https://xiamp.net/archives/aaeditor-is-another-typecho-editor-plugin.html
- 关闭'开启公式显示'，将公式渲染交给typecho-markdown
- 关闭'开启公式显示'，将公式渲染交给markdownParse
markdown解析器插件：[mrgeneralgoo/typecho-markdown: A markdown parse plugin for typecho.](https://github.com/mrgeneralgoo/typecho-markdown)
- 确保代码块\```后面紧跟着语言，如\```java，否则无法正确显示。
- 确保公式块$$是
修改文章详情页的上方信息：
@ -1046,6 +1053,8 @@ if (!defined('__TYPECHO_ROOT_DIR__')) {
</div>
```
大坑：{x}会显示为勾选框，无法正常进行latex公式解析，因为`typecho/usr/themes/Joe/public/short.php`中设置了短代码替换，**在文章输出前**对 `$content` 中的特定标记或短代码进行搜索和替换，从而实现一系列自定义功能。现已全部注释。
slug为页面缩略名，在新增文章时可以传入，默认是index数字。
@ -1054,10 +1063,6 @@ slug为页面缩略名，在新增文章时可以传入，默认是index数字
### **Markdown文件自动发布**
## qBittorrent
[【好玩的Docker项目】10分钟搭建你专属的下载神器——qbittorrent-我不是咕咕鸽](https://blog.laoda.de/archives/docker-install-qbittorrent)

6
科研/交替方向乘子法（ADMM）.md
View File

@ -21,19 +21,19 @@
1. **问题分解**
将原问题分解为两个子问题。假设原问题表示为：
$$\min_{x, z} f(x) + g(z) \quad \text{s.t.} \quad Ax + Bz = c$$
$\min_{x, z} f(x) + g(z) \quad \text{s.t.} \quad Ax + Bz = c$
其中 $f$ 和 $g$ 是凸函数，$A$ 和 $B$ 为给定矩阵。
2. **构造增强拉格朗日函数**
引入拉格朗日乘子 $y$，构造增强拉格朗日函数：
$$L_\rho(x, z, y) = f(x) + g(z) + y^T(Ax+Bz-c) + \frac{\rho}{2}\|Ax+Bz-c\|^2$$
$L_\rho(x, z, y) = f(x) + g(z) + y^T(Ax+Bz-c) + \frac{\rho}{2}\|Ax+Bz-c\|^2$
其中 $\rho > 0$ 控制惩罚项的权重。
3. **交替更新**
- **更新 $x$**：固定 $z$ 和 $y$，求解 $\arg\min_x L_\rho(x, z, y)$。
- **更新 $z$**：固定 $x$ 和 $y$，求解 $\arg\min_z L_\rho(x, z, y)$。
- **更新乘子 $y$**：按梯度上升方式更新：
$$y := y + \rho(Ax + Bz - c)$$
$y := y + \rho(Ax + Bz - c)$
4. **迭代求解**
重复上述步骤，直到原始残差和对偶残差满足收敛条件（如 $\|Ax+Bz-c\| < \epsilon$）。

14
科研/循环神经网络.md
View File

@ -222,14 +222,12 @@ LSTM 的核心在于其“细胞状态”（cell state），这是一个贯穿
$$
\begin{aligned}
\textbf{遗忘门:}\quad f_t &= \sigma\Big(W_{xf}\, x_t + W_{hf}\, h_{t-1} + b_f\Big), \\
\textbf{输入门:}\quad i_t &= \sigma\Big(W_{xi}\, x_t + W_{hi}\, h_{t-1} + b_i\Big), \\
\textbf{输出门:}\quad o_t &= \sigma\Big(W_{xo}\, x_t + W_{ho}\, h_{t-1} + b_o\Big), \\
\\
\textbf{候选细胞状态:}\quad \tilde{c}_t &= \tanh\Big(W_{xc}\, x_t + W_{hc}\, h_{t-1} + b_c\Big), \\
\textbf{细胞状态更新:}\quad c_t &= f_t \odot c_{t-1} + i_t \odot \tilde{c}_t, \\
\textbf{隐藏状态:}\quad h_t &= o_t \odot \tanh(c_t).
\textbf{遗忘门:} \quad f_t = \sigma\Big(W_{xf}\, x_t + W_{hf}\, h_{t-1} + b_f\Big) \\
\textbf{输入门:} \quad i_t = \sigma\Big(W_{xi}\, x_t + W_{hi}\, h_{t-1} + b_i\Big) \\
\textbf{输出门:} \quad o_t = \sigma\Big(W_{xo}\, x_t + W_{ho}\, h_{t-1} + b_o\Big) \\
\textbf{候选细胞状态:} \quad \tilde{c}_t = \tanh\Big(W_{xc}\, x_t + W_{hc}\, h_{t-1} + b_c\Big) \\
\textbf{细胞状态更新:} \quad c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t \\
\textbf{隐藏状态:} \quad h_t = o_t \odot \tanh(c_t)
\end{aligned}
$$

340
科研/数学基础.md
View File

@ -105,24 +105,24 @@ $$
**设定具体数值**
- 输入向量：
$$
$$
x = \begin{pmatrix} 1 \\ 2 \end{pmatrix}
$$
$$
- 权重矩阵：
$$
$$
W = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}
$$
$$
- 偏置向量：
$$
$$
b = \begin{pmatrix} 1 \\ 1 \end{pmatrix}
$$
$$
- 真实输出：
$$
$$
y_{\text{true}} = \begin{pmatrix} 7 \\ 13 \end{pmatrix}
$$
$$
---
@ -285,9 +285,9 @@ $$
**用途**：
- **正则化（L2正则化/权重衰减）**：在训练过程中，加入 L2 正则项有助于防止模型过拟合。正则化项通常是权重的 L2 范数的平方，例如
$$
$$
\lambda \|\mathbf{w}\|_2^2
$$
$$
其中 $\lambda$ 是正则化系数。
- **梯度裁剪**：在 RNN 等深度网络中，通过计算梯度的 L2 范数来判断是否需要对梯度进行裁剪，从而防止梯度爆炸。
@ -369,9 +369,9 @@ $$
- **权重形状**：$\mathbf{w} \in \mathbb{R}^d$（向量）
- **预测公式**：
$$
$$
\hat{y}_i = \mathbf{w}^\top \mathbf{x}_i
$$
$$
其中 $\hat{y}_i$ 是标量输出。
---
@ -387,9 +387,9 @@ $$
- **权重形状**：$W \in \mathbb{R}^{m \times d}$（矩阵）
- **预测公式**：
$$
$$
\hat{\mathbf{y}}_i = W \mathbf{x}_i + \mathbf{b}
$$
$$
其中 $\mathbf{b} \in \mathbb{R}^m$ 是偏置向量。
@ -518,28 +518,28 @@ $$
- 对于 $\lambda_1 = 2$：
解方程：
$$
$$
(A - 2I)\mathbf{x} = \begin{bmatrix} 2-2 & 1 \\ 0 & 3-2 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 & 1 \\ 0 & 1 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} x_2 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}
$$
$$
从第一行 $x_2 = 0$。因此特征向量可以写成：
$$
$$
\mathbf{v}_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad (\text{任意非零常数倍})
$$
$$
- 对于 $\lambda_2 = 3$：
解方程：
$$
$$
(A - 3I)\mathbf{x} = \begin{bmatrix} 2-3 & 1 \\ 0 & 3-3 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} -1 & 1 \\ 0 & 0 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} -x_1+x_2 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}
$$
$$
从第一行得 $-x_1 + x_2 = 0$ 或 $x_2 = x_1$。因此特征向量可以写成：
$$
$$
\mathbf{v}_2 = \begin{bmatrix} 1 \\ 1 \end{bmatrix} \quad (\text{任意非零常数倍})
$$
$$
@ -566,21 +566,21 @@ $$
- 对于 $\lambda_1 = d_1$，方程 $(D-d_1I)\mathbf{x}=\mathbf{0}$ 得到：
$$
$$
\begin{bmatrix} 0 & 0 \\ 0 & d_2-d_1 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ (d_2-d_1)x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}
$$
$$
若 $d_1 \neq d_2$，则必须有 $x_2=0$，而 $x_1$ 可任意取非零值，因此特征向量为：
$$
$$
\mathbf{v}_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}
$$
$$
- 对于 $\lambda_2 = d_2$，类似地解得：
$$
$$
\mathbf{v}_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix}
$$
$$
@ -598,36 +598,36 @@ $$
- $\sigma$ 是激活函数（如 ReLU、Sigmoid 等），用于引入非线性。
- **输入向量 $a^{(0)}$**：
$$
$$
a^{(0)} = \begin{pmatrix}
a_0^{(0)} \\
a_1^{(0)} \\
\vdots \\
a_n^{(0)}
\end{pmatrix}
$$
$$
这是一个 $n+1$ 维的列向量，表示输入特征。
- **权重矩阵 $\mathbf{W}$**：
$$
$$
\mathbf{W} = \begin{pmatrix}
w_{0,0} & w_{0,1} & \cdots & w_{0,n} \\
w_{1,0} & w_{1,1} & \cdots & w_{1,n} \\
\vdots & \vdots & \ddots & \vdots \\
w_{k,0} & w_{k,1} & \cdots & w_{k,n} \\
\end{pmatrix}
$$
$$
这是一个 $k \times (n+1)$ 的矩阵，其中 $k$ 是输出向量的维度，$n+1$ 是输入向量的维度。
- **偏置向量 $b$**：
$$
$$
b = \begin{pmatrix}
b_0 \\
b_1 \\
\vdots \\
b_k
\end{pmatrix}
$$
$$
这是一个 $k$ 维的列向量，用于调整输出。
@ -636,9 +636,9 @@ $$
1. 在传统的连续时间 RNN 写法里，常见的是
$$
$$
\sum_{j} W_{ij} \, \sigma(x_j),
$$
$$
这代表对所有神经元 $j$ 的激活 $\sigma(x_j)$ 做加权求和，再求和到神经元 $i$。
@ -646,23 +646,23 @@ $$
- 输出向量的第 1 个分量（记作第 1 行的结果）：
$$
$$
(W_r x)_1 = 0.3 \cdot x_1 + (-0.5) \cdot x_2 = 0.3 \cdot 2 + (-0.5) \cdot 1 = 0.6 - 0.5 = 0.1.
$$
$$
- 输出向量的第 2 个分量（第 2 行的结果）：
$$
$$
(W_r x)_2 = 1.2 \cdot x_1 + 0.4 \cdot x_2 = 1.2 \cdot 2 + 0.4 \cdot 1 = 2.4 + 0.4 = 2.8.
$$
$$
2. 在使用矩阵乘法时，你可以写成
$$
$$
y = W_r \, \sigma(x),
$$
$$
其中 $\sigma$ 表示对 $x$ 的各分量先做激活，接着用 $W_r$ 乘上去。这就是把“$\sum_j \dots$”用矩阵乘法隐藏了。
@ -694,10 +694,6 @@ $$
### 奇异值
**定义**
@ -878,7 +874,7 @@ $$
**1. 问题回顾**
给定一个**对称非负**矩阵 $$A\in\mathbb{R}^{n\times n}$$，我们希望找到一个**非负矩阵** $$H\in\mathbb{R}^{n\times k}$$ 使得
给定一个**对称非负**矩阵 $A\in\mathbb{R}^{n\times n}$，我们希望找到一个**非负矩阵** $H\in\mathbb{R}^{n\times k}$ 使得
$$
A \approx HH^T.
$$
@ -886,7 +882,7 @@ $$
$$
f(H)=\frac{1}{2}\|A-HH^T\|_F^2,
$$
其中 $$\|\cdot\|_F$$ 表示 Frobenius 范数，定义为矩阵所有元素的平方和的平方根。
其中 $\|\cdot\|_F$ 表示 Frobenius 范数，定义为矩阵所有元素的平方和的平方根。
$\| A - H H^T \|_F^2$ 表示矩阵 $A - H H^T$ 的所有元素的平方和。
@ -909,7 +905,7 @@ $$
f(H)=\frac{1}{2}\operatorname{trace}\Bigl[\bigl(A-HH^T\bigr)^T\bigl(A-HH^T\bigr)\Bigr].
$$
注意到 $$A$$ 和$$HH^T$$ 都是对称矩阵，可以简化为：
注意到 $A$ 和$HH^T$ 都是对称矩阵，可以简化为：
$$
f(H)=\frac{1}{2}\operatorname{trace}\Bigl[\bigl(A-HH^T\bigr)^2\Bigr].
@ -921,7 +917,7 @@ $$
f(H)=\frac{1}{2}\operatorname{trace}\Bigl[A^2 - 2AHH^T + (HH^T)^2\Bigr].
$$
其中 $$\operatorname{trace}(A^2)$$ 与 $$H$$ 无关，可以看作常数，不影响梯度计算。
其中 $\operatorname{trace}(A^2)$ 与 $H$ 无关，可以看作常数，不影响梯度计算。
**计算** $\nabla_H \operatorname{trace}(-2 A H H^T)$
$$
@ -945,17 +941,17 @@ $$
2.2 梯度下降更新
设学习率为 $$\eta>0$$，则梯度下降的**基本更新公式为**：
设学习率为 $\eta>0$，则梯度下降的**基本更新公式为**：
$$
H \leftarrow H - \eta\, \nabla_H f(H) = H - 2\eta\Bigl(HH^T H - A H\Bigr).
$$
由于我们要求 $$H$$ 中的元素保持非负，所以每次更新之后通常需要进行**投影**：
由于我们要求 $H$ 中的元素保持非负，所以每次更新之后通常需要进行**投影**：
$$
H_{ij} \leftarrow \max\{0,\,H_{ij}\}.
$$
这种方法称为**投影梯度下降**，保证每一步更新后 $$H$$ 满足非负约束。
这种方法称为**投影梯度下降**，保证每一步更新后 $H$ 满足非负约束。
**3. 举例说明**
@ -963,43 +959,43 @@ $$
$$
A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}, \quad k=1, \quad H \in \mathbb{R}^{2 \times 1}
$$
初始化 $$H^{(0)} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$$，学习率 $$\eta = 0.01$$。
初始化 $H^{(0)} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$，学习率 $\eta = 0.01$。
**迭代步骤**：
1. **初始 \( H^{(0)} \):**
$$
$$
H^{(0)} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}, \quad H^{(0)}(H^{(0)})^T = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}.
$$
$$
目标函数值：
$$
$$
f(H^{(0)}) = \frac{1}{2} \left( (2-1)^2 + 2(1-1)^2 + (2-1)^2 \right) = 1.
$$
$$
2. **计算梯度：**
$$
$$
HH^T H = \begin{bmatrix} 2 \\ 2 \end{bmatrix}, \quad AH = \begin{bmatrix} 3 \\ 3 \end{bmatrix},
$$
$$
$$
$$
\nabla_H f(H^{(0)}) = 2 \left( \begin{bmatrix} 2 \\ 2 \end{bmatrix} - \begin{bmatrix} 3 \\ 3 \end{bmatrix} \right) = \begin{bmatrix} -2 \\ -2 \end{bmatrix}.
$$
$$
3. **更新 \( H \):**
$$
$$
H^{(1)} = H^{(0)} - 2 \cdot 0.01 \cdot \begin{bmatrix} -2 \\ -2 \end{bmatrix} = \begin{bmatrix} 1.04 \\ 1.04 \end{bmatrix}.
$$
$$
4. **更新后目标函数：**
$$
$$
H^{(1)}(H^{(1)})^T = \begin{bmatrix} 1.0816 & 1.0816 \\ 1.0816 & 1.0816 \end{bmatrix},
$$
$$
$$
$$
f(H^{(1)}) = \frac{1}{2} \left( (2-1.0816)^2 + 2(1-1.0816)^2 + (2-1.0816)^2 \right) \approx 0.8464.
$$
$$
一次迭代后目标函数值从 $1.0$ 下降至 $0.8464$
@ -1127,14 +1123,14 @@ $$
L \mathbf{1} = \mathbf{0},
$$
其中 $$\mathbf{1} = (1, 1, \ldots, 1)^T$$，因此 $$0$$ 一定是 $$L$$ 的一个特征值。
其中 $\mathbf{1} = (1, 1, \ldots, 1)^T$，因此 $0$ 一定是 $L$ 的一个特征值。
因为拉普拉斯矩阵的定义为 $L = D - A$，其中每一行的元素之和为零，所以当向量所有分量都相等时，每一行的加权求和自然等于零。
- 更进一步，**零特征值的重数等于图的连通分量(独立的子图)个数**。也就是说，如果图 \(G\) 有 \(k\) 个连通分量，则 \(L\) 的零特征值重数为 \(k\)。
**简单证明思路**
考虑图中每个连通分量，对于某个连通分量内的所有顶点，可以构造一个特征向量，使得在该连通分量中所有分量取相同常数，而在其他部分取零。由于该连通分量内部的任意两个顶点都是连通的，该特征向量满足 \(Lx = 0\)。这样，对于每个连通分量都可以构造出一个线性无关的零特征值特征向量，从而零特征值的重数至少为连通分量的数量；进一步证明可以证明重数不会超过这个数量。
考虑图中每个连通分量，对于某个连通分量内的所有顶点，可以构造一个特征向量，使得在该连通分量中所有分量取相同常数，而在其他部分取零。由于该连通分量内部的任意两个顶点都是连通的，该特征向量满足 $Lx = 0$。这样，对于每个连通分量都可以构造出一个线性无关的零特征值特征向量，从而零特征值的重数至少为连通分量的数量；进一步证明可以证明重数不会超过这个数量。
4. **谱分解及应用**
@ -1142,17 +1138,17 @@ $$
$$
L = U \Lambda U^T,
$$
其中 \(U\) 是**正交矩阵**，\($\Lambda$) 是包含 \(L\) 所有非负特征值的**对角矩阵**。
其中$U$ 是**正交矩阵**，$\Lambda$ 是包含 $L$ 所有非负特征值的**对角矩阵**。
这一性质使得拉普拉斯矩阵在谱聚类、图分割等应用中非常有用。
总结
拉普拉斯矩阵 \(L = D - A\) 是描述图结构的重要工具，具有如下主要性质：
拉普拉斯矩阵 $L = D - A$是描述图结构的重要工具，具有如下主要性质：
- **对称性**：\(L\) 是对称矩阵；
- **正半定性**：任意向量 \(x\) 有 \(x^T L x \ge 0\)；
- **零特征值**：\(L\) 总有零特征值，且其重数与图的连通分量个数相等；
- **谱分解**：\(L\) 可进行正交谱分解，广泛应用于图的聚类与分割等领域。
- **对称性**：$L$是对称矩阵；
- **正半定性**：任意向量 $x$ 有 $x^T L x \ge 0$；
- **零特征值**：$L$ 总有零特征值，且其重数与图的连通分量个数相等；
- **谱分解**：$L$ 可进行正交谱分解，广泛应用于图的聚类与分割等领域。
这些性质不仅在理论上非常重要，而且在图论和数据分析等实际问题中有广泛的应用。
@ -1164,7 +1160,7 @@ $$
### **归一化拉普拉斯矩阵**
为了在某些应用中（例如谱聚类、图卷积网络等）获得更好的数值性质和归一化效果，我们可以构造 **对称归一化拉普拉斯矩阵**，记为 $$L_{sym}$$，定义为
为了在某些应用中（例如谱聚类、图卷积网络等）获得更好的数值性质和归一化效果，我们可以构造 **对称归一化拉普拉斯矩阵**，记为 $L_{sym}$，定义为
$$
L_{sym} = D^{-1/2} L D^{-1/2} = I - D^{-1/2} A D^{-1/2},
@ -1172,8 +1168,8 @@ $$
其中
- $$D^{-1/2}$$ 表示度矩阵的逆平方根，
- $$I$$ 为单位矩阵。
- $D^{-1/2}$ 表示度矩阵的逆平方根，
- $I$ 为单位矩阵。
$$
D = \begin{pmatrix}
@ -1192,13 +1188,13 @@ $$
**主要特点**
1. **归一化**：
通过 $$D^{-1/2}$$ 的两侧预处理，将不同顶点的度数影响消除，使得矩阵在谱分解时能更好地反映图的结构。
通过 $D^{-1/2}$ 的两侧预处理，将不同顶点的度数影响消除，使得矩阵在谱分解时能更好地反映图的结构。
2. **对称性**：
$$L_{sym}$$ 是对称矩阵，这意味着它可以进行正交谱分解，其特征值均为实数。
$L_{sym}$ 是对称矩阵，这意味着它可以进行正交谱分解，其特征值均为实数。
3. **谱性质**：
$$L_{sym}$$ 的特征值都位于区间 $$[0, 2]$$ 内。这一性质对于很多图论算法的稳定性和收敛性分析都非常重要。
$L_{sym}$ 的特征值都位于区间 $[0, 2]$ 内。这一性质对于很多图论算法的稳定性和收敛性分析都非常重要。
@ -1206,21 +1202,21 @@ $$
## Fiedler向量
根据谱分解理论，$$L$$ 的特征值满足
根据谱分解理论，$L$ 的特征值满足
$$
x 0 = \lambda_1 \le \lambda_2 \le \cdots \le \lambda_n.
$$
其中，$$\lambda_1 = 0$$ 对应的特征向量通常为所有分量相同的常数向量。而 **Fiedler 向量** 就是对应于 $$\lambda_2$$ (第二小的特征值)的特征向量。
其中，$\lambda_1 = 0$ 对应的特征向量通常为所有分量相同的常数向量。而 **Fiedler 向量** 就是对应于 $\lambda_2$ (第二小的特征值)的特征向量。
**图的谱划分**
1. 构建图的拉普拉斯矩阵
- 根据给定的图结构,构建图的拉普拉斯矩阵 L。
- 根据给定的图结构,构建图的拉普拉斯矩阵 $L$。
2. 计算 Fiedler 向量
- 求解拉普拉斯矩阵 L 的第二小特征值对应的特征向量,即 Fiedler 向量。
- 求解拉普拉斯矩阵 $L$ 的第二小特征值对应的特征向量,即 Fiedler 向量。
3. 根据 Fiedler 向量进行图划分
@ -1228,9 +1224,9 @@ $$
- 找到 Fiedler 向量元素值为 0 附近的分界点,将图划分为两个子图。
**Fiedler 向量在连接紧密的顶点上的取值往往比较接近**
$$
$$
Fiedler 向量 :xv = \begin{pmatrix}0.8 \\0.7 \\0.6 \\-0.5 \\-0.6 \\-0.7\end{pmatrix}.
$$
$$
- 正值部分：对应顶点 1, 2, 3；
- 负值部分：对应顶点 4, 5, 6。
@ -1259,20 +1255,22 @@ $$
1.构造相似性图
- **数据表示**：
给定数据点 $$\{x_1, x_2, \ldots, x_n\}$$。
给定数据点 $\{x_1, x_2, \ldots, x_n\}$。
- **相似性矩阵 $$W$$**：
根据数据点之间的距离或相似性构造矩阵 $$W$$。常见方法包括：
- **相似性矩阵 $W$**：
根据数据点之间的距离或相似性构造矩阵 $W$。常见方法包括：
- **Gaussian 核函数**：
$$
W_{ij} = \exp\Bigl(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\Bigr),
$$
只有当 $$x_i$$ 与 $$x_j$$ 彼此接近时， $$W_{ij}$$ 才较大；衡量数据点之间的距离并将其映射为一个 [0, 1] 之间的相似性值。
$$
W_{ij} = \exp\Bigl(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\Bigr),
$$
只有当 $x_i$ 与 $x_j$ 彼此接近时， $W_{ij}$ 才较大；衡量数据点之间的距离并将其映射为一个 [0, 1] 之间的相似性值。
其中 $\sigma$ 为尺度参数，当 $\sigma$ 较小时，只有非常接近的数据点才会被认为是相似的
**K近邻图**：仅连接每个点与其 $k$ 个最近邻之间的边，其余 $W_{ij} = 0$。
其中 $$\sigma$$ 为尺度参数，当 $$\sigma$$ 较小时，只有非常接近的数据点才会被认为是相似的
- **K近邻图**：仅连接每个点与其 $$k$$ 个最近邻之间的边，其余 $$W_{ij} = 0$$。
2.构造图拉普拉斯矩阵
@ -1281,26 +1279,26 @@ $$
3.计算特征向量
​ 对选定的拉普拉斯矩阵（例如 $$L_{sym}$$）进行特征分解，求出前 $$k$$ 个最小特征值对应的特征向 量。
​ 注意：对于未归一化的拉普拉斯矩阵，零特征值对应的特征向量通常是常数向量，所以在分 解时忽略这个解，选择第二小开始的 $$k$$ 个特征向量。
​ 对选定的拉普拉斯矩阵（例如 $L_{sym}$）进行特征分解，求出前 $k$ 个最小特征值对应的特征向 量。
​ 注意：对于未归一化的拉普拉斯矩阵，零特征值对应的特征向量通常是常数向量，所以在分 解时忽略这个解，选择第二小开始的 $k$ 个特征向量。
4.构造嵌入空间
- **形成矩阵 $$U$$**：
将求得的 $$k$$ 个特征向量作为列组成矩阵
$$
- **形成矩阵 $U$**：
将求得的 $k$ 个特征向量作为列组成矩阵
$$
U = \begin{pmatrix}
u_1(1) & u_2(1) & \cdots & u_k(1) \\
u_1(2) & u_2(2) & \cdots & u_k(2) \\
\vdots & \vdots & \ddots & \vdots \\
u_1(n) & u_2(n) & \cdots & u_k(n)
\end{pmatrix}.
$$
$$
其中，每一行对应原数据点在低维空间中的表示。
例：
- **归一化（可选）**：
对于对称归一化的情况，可以对 $$U$$ 的每一行做归一化处理，使得每一行变为单位向量，这一步有助于后续聚类的稳定性。
对于对称归一化的情况，可以对 $U$ 的每一行做归一化处理，使得每一行变为单位向量，这一步有助于后续聚类的稳定性。
5.聚类
@ -1324,38 +1322,38 @@ $$
---
**1. 构造相似性矩阵 $$W$$**
**1. 构造相似性矩阵 $W$**
采用 **Gaussian 核函数**
$$
W_{ij}=\exp\Bigl(-\frac{(x_i-x_j)^2}{2\sigma^2}\Bigr).
$$
取 $$\sigma=2$$（参数可调），则分母为 $$2\sigma^2=8$$。
取 $\sigma=2$（参数可调），则分母为 $2\sigma^2=8$。
计算部分相似性（近似值）：
- $$x_1,x_2: \; |1-2|^2=1,\quad W_{12}=\exp(-1/8)\approx0.8825.$$
- $$x_1,x_3: \; |1-5|^2=16,\quad W_{13}=\exp(-16/8)=\exp(-2)\approx0.1353.$$
- $$x_1,x_4: \; |1-6|^2=25,\quad W_{14}=\exp(-25/8)\approx0.0439.$$
- $$x_1,x_5: \; |1-10|^2=81,\quad W_{15}=\exp(-81/8)\approx0.00004.$$
- $$x_1,x_6: \; |1-11|^2=100,\quad W_{16}=\exp(-100/8)\approx0.00001.$$
- $x_1,x_2: \; |1-2|^2=1,\quad W_{12}=\exp(-1/8)\approx0.8825.$
- $x_1,x_3: \; |1-5|^2=16,\quad W_{13}=\exp(-16/8)=\exp(-2)\approx0.1353.$
- $x_1,x_4: \; |1-6|^2=25,\quad W_{14}=\exp(-25/8)\approx0.0439.$
- $x_1,x_5: \; |1-10|^2=81,\quad W_{15}=\exp(-81/8)\approx0.00004.$
- $x_1,x_6: \; |1-11|^2=100,\quad W_{16}=\exp(-100/8)\approx0.00001.$
- $$x_2,x_3: \; |2-5|^2=9,\quad W_{23}=\exp(-9/8)\approx0.3247.$$
- $$x_2,x_4: \; |2-6|^2=16,\quad W_{24}=\exp(-16/8)=\exp(-2)\approx0.1353.$$
- $$x_2,x_5: \; |2-10|^2=64,\quad W_{25}=\exp(-64/8)=\exp(-8)\approx0.000335.$$
- $$x_2,x_6: \; |2-11|^2=81,\quad W_{26}=\exp(-81/8)\approx0.00004.$$
- $x_2,x_3: \; |2-5|^2=9,\quad W_{23}=\exp(-9/8)\approx0.3247.$
- $x_2,x_4: \; |2-6|^2=16,\quad W_{24}=\exp(-16/8)=\exp(-2)\approx0.1353.$
- $x_2,x_5: \; |2-10|^2=64,\quad W_{25}=\exp(-64/8)=\exp(-8)\approx0.000335.$
- $x_2,x_6: \; |2-11|^2=81,\quad W_{26}=\exp(-81/8)\approx0.00004.$
- $$x_3,x_4: \; |5-6|^2=1,\quad W_{34}=\exp(-1/8)\approx0.8825.$$
- $$x_3,x_5: \; |5-10|^2=25,\quad W_{35}=\exp(-25/8)\approx0.0439.$$
- $$x_3,x_6: \; |5-11|^2=36,\quad W_{36}=\exp(-36/8)=\exp(-4.5)\approx0.0111.$$
- $x_3,x_4: \; |5-6|^2=1,\quad W_{34}=\exp(-1/8)\approx0.8825.$
- $x_3,x_5: \; |5-10|^2=25,\quad W_{35}=\exp(-25/8)\approx0.0439.$
- $x_3,x_6: \; |5-11|^2=36,\quad W_{36}=\exp(-36/8)=\exp(-4.5)\approx0.0111.$
- $$x_4,x_5: \; |6-10|^2=16,\quad W_{45}=\exp(-16/8)=\exp(-2)\approx0.1353.$$
- $$x_4,x_6: \; |6-11|^2=25,\quad W_{46}=\exp(-25/8)\approx0.0439.$$
- $x_4,x_5: \; |6-10|^2=16,\quad W_{45}=\exp(-16/8)=\exp(-2)\approx0.1353.$
- $x_4,x_6: \; |6-11|^2=25,\quad W_{46}=\exp(-25/8)\approx0.0439.$
- $$x_5,x_6: \; |10-11|^2=1,\quad W_{56}=\exp(-1/8)\approx0.8825.$$
- $x_5,x_6: \; |10-11|^2=1,\quad W_{56}=\exp(-1/8)\approx0.8825.$
由于 $$W$$ 是对称矩阵，对角元一般取 0（或1，根据需求），我们构造相似性矩阵 $$W$$ 为
由于 $W$ 是对称矩阵，对角元一般取 0（或1，根据需求），我们构造相似性矩阵 $W$ 为
$$
W=\begin{pmatrix}
@ -1370,7 +1368,7 @@ $$
---
2. **构造度矩阵 $$D$$**
2. **构造度矩阵 $D$**
$$
D_{ii}=\sum_{j=1}^6 W_{ij}.
@ -1378,18 +1376,18 @@ $$
近似计算：
- 对于 $$x_1$$：
$$D_{11}\approx0.8825+0.1353+0.0439+0.00004+0.00001\approx1.0617.$$
- 对于 $$x_2$$：
$$D_{22}\approx0.8825+0.3247+0.1353+0.000335+0.00004\approx1.3429.$$
- 对于 $$x_3$$：
$$D_{33}\approx0.1353+0.3247+0.8825+0.0439+0.0111\approx1.3975.$$
- 对于 $$x_4$$：
$$D_{44}\approx0.0439+0.1353+0.8825+0.1353+0.0439\approx1.241.$$
- 对于 $$x_5$$：
$$D_{55}\approx0.00004+0.000335+0.0439+0.1353+0.8825\approx1.0617.$$
- 对于 $$x_6$$：
$$D_{66}\approx0.00001+0.00004+0.0111+0.0439+0.8825\approx0.9375.$$
- 对于 $x_1$：
$D_{11}\approx0.8825+0.1353+0.0439+0.00004+0.00001\approx1.0617.$
- 对于 $x_2$：
$D_{22}\approx0.8825+0.3247+0.1353+0.000335+0.00004\approx1.3429.$
- 对于 $x_3$：
$D_{33}\approx0.1353+0.3247+0.8825+0.0439+0.0111\approx1.3975.$
- 对于 $x_4$：
$D_{44}\approx0.0439+0.1353+0.8825+0.1353+0.0439\approx1.241.$
- 对于 $x_5$：
$D_{55}\approx0.00004+0.000335+0.0439+0.1353+0.8825\approx1.0617.$
- 对于 $x_6$：
$D_{66}\approx0.00001+0.00004+0.0111+0.0439+0.8825\approx0.9375.$
构造度矩阵：
$$
@ -1405,7 +1403,7 @@ $$
---
**3. 构造拉普拉斯矩阵 $$L$$**
**3. 构造拉普拉斯矩阵 $L$**
未归一化拉普拉斯矩阵定义为
$$
@ -1422,7 +1420,7 @@ $$
**4. 特征分解与构造低维嵌入**
为了分成 3 类，通常我们取图拉普拉斯矩阵（或归一化拉普拉斯矩阵）的前 $$k=3$$ 个最小特征值对应的特征向量。
为了分成 3 类，通常我们取图拉普拉斯矩阵（或归一化拉普拉斯矩阵）的前 $k=3$ 个最小特征值对应的特征向量。
（注意：对于未归一化拉普拉斯矩阵，第一个特征值为 0，对应常数向量；但在归一化方法中，所有 3 个特征向量通常都有实际意义。）
假设经过特征分解后，我们得到了三个特征向量
@ -1441,16 +1439,16 @@ u_1(6) & u_2(6) & u_3(6)
\end{pmatrix}.
$$
每一行 $$i$$ 表示数据点 $$x_i$$ 在 **3 维低维嵌入空间中的表示**。
每一行 $i$ 表示数据点 $x_i$ 在 **3 维低维嵌入空间中的表示**。
**假设得到的低维表示**（示例数值）：
- $$x_1: \; (0.9,\ 0.2,\ 0.1)$$
- $$x_2: \; (0.8,\ 0.3,\ 0.2)$$
- $$x_3: \; (-0.1,\ 0.8,\ 0.1)$$
- $$x_4: \; (-0.2,\ 0.7,\ 0.0)$$
- $$x_5: \; (0.1,\ -0.2,\ 0.9)$$
- $$x_6: \; (0.0,\ -0.1,\ 1.0)$$
- $x_1: \; (0.9,\ 0.2,\ 0.1)$
- $x_2: \; (0.8,\ 0.3,\ 0.2)$
- $x_3: \; (-0.1,\ 0.8,\ 0.1)$
- $x_4: \; (-0.2,\ 0.7,\ 0.0)$
- $x_5: \; (0.1,\ -0.2,\ 0.9)$
- $x_6: \; (0.0,\ -0.1,\ 1.0)$
---
@ -1460,70 +1458,70 @@ $$
在本例中，k-means 会尝试将点分为 3 类。
根据上述低维表示，很容易看到：
- 数据点 $$x_1$$ 和 $$x_2$$ 聚在一起；
- 数据点 $$x_3$$ 和 $$x_4$$ 聚在一起；
- 数据点 $$x_5$$ 和 $$x_6$$ 聚在一起。
- 数据点 $x_1$ 和 $x_2$ 聚在一起；
- 数据点 $x_3$ 和 $x_4$ 聚在一起；
- 数据点 $x_5$ 和 $x_6$ 聚在一起。
最终得到的聚类结果：
- 类1：$$\{x_1, x_2\}$$
- 类2：$$\{x_3, x_4\}$$
- 类3：$$\{x_5, x_6\}$$
- 类1：$\{x_1, x_2\}$
- 类2：$\{x_3, x_4\}$
- 类3：$\{x_5, x_6\}$
## **谱分解**
一个对称矩阵可以通过其特征值和特征向量进行分解。对于一个 $$n \times n$$ 的对称矩阵 $$A$$，其谱分解可以表示为：
一个对称矩阵可以通过其特征值和特征向量进行分解。对于一个 $n \times n$ 的对称矩阵 $A$，其谱分解可以表示为：
$$
A = \sum_{i=1}^{n} \lambda_i x_i x_i^T
$$
其中，$$\lambda_i$$ 是矩阵 $$A$$ 的第 $$i$$ 个特征值，$$x_i$$ 是对应的特征向量。
其中，$\lambda_i$ 是矩阵 $A$ 的第 $i$ 个特征值，$x_i$ 是对应的特征向量。
**推导过程**
1. **特征值和特征向量的定义**
对于一个对称矩阵 $$A$$，其特征值和特征向量满足：
$$
对于一个对称矩阵 $A$，其特征值和特征向量满足：
$$
A x_i = \lambda_i x_i
$$
$$
其中，$$\lambda_i$$ 是特征值，$$x_i$$ 是对应的特征向量。
其中，$\lambda_i$ 是特征值，$x_i$ 是对应的特征向量。
2. **谱分解**
将这些特征向量组成一个正交矩阵 $$Q$$
将这些特征向量组成一个正交矩阵 $Q$
$$A = Q \Lambda Q^T$$
$$
$A = Q \Lambda Q^T$
$$
Q = \begin{bmatrix} x_1 & x_2 & \cdots & x_n \end{bmatrix},
$$
$$
$$
$$
Q \Lambda = \begin{bmatrix} \lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n \end{bmatrix}.
$$
$$
$$
$$
Q \Lambda Q^T = \begin{bmatrix} \lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n \end{bmatrix} \begin{bmatrix} x_1^T \\ x_2^T \\ \vdots \\ x_n^T \end{bmatrix}.
$$
$$
$$
$$
Q \Lambda Q^T = \lambda_1 x_1 x_1^T + \lambda_2 x_2 x_2^T + \cdots + \lambda_n x_n x_n^T.
$$
$$
可以写为
$$
$$
A = \sum_{i=1}^{n} \lambda_i x_i x_i^T.
$$
$$
3. **网络重构**
在随机网络中，网络的邻接矩阵 $$A$$ 通常是对称的。利用预测算法得到的谱参数 $$\{\lambda_i, x_i\}$$ 后，就可以用以下公式重构网络矩阵：
$$
在随机网络中，网络的邻接矩阵 $A$ 通常是对称的。利用预测算法得到的谱参数 $\{\lambda_i, x_i\}$ 后，就可以用以下公式重构网络矩阵：
$$
A(G) = \sum_{i=1}^{n} \lambda_i x_i x_i^T
$$
$$

50
科研/郭款论文.md
View File

@ -93,7 +93,7 @@ $$
2. **初始化码本**
我们希望构造一个码本矩阵 $$C$$，初始时可以从数据中随机选择两个点作为码字。假设选择 $$x_1=(1,2)$$ 和 $$x_3=(3,4)$$，则初始码本为
我们希望构造一个码本矩阵 $C$，初始时可以从数据中随机选择两个点作为码字。假设选择 $x_1=(1,2)$ 和 $x_3=(3,4)$，则初始码本为
$$
C^{(0)}=\begin{pmatrix}
@ -108,35 +108,35 @@ $$
对于每个数据点，计算它与各个码字之间的欧氏距离，并将其分配到距离最近的码字。下面计算各数据点到码字的距离（这里只计算距离的平方，便于比较）：
- **数据点 $$x_1=(1,2)$$：**
- **数据点 $x_1=(1,2)$：**
- 到码字 1 $$(1,2)$$ 的距离平方：$$ (1-1)^2+(2-2)^2=0 $$
- 到码字 2 $$(3,4)$$ 的距离平方：$$ (1-3)^2+(2-4)^2=4+4=8 $$
- 到码字 1 $(1,2)$ 的距离平方：$ (1-1)^2+(2-2)^2=0 $
- 到码字 2 $(3,4)$ 的距离平方：$ (1-3)^2+(2-4)^2=4+4=8 $
分配：$$x_1$$ 属于码字 1。
分配：$x_1$ 属于码字 1。
- **数据点 $$x_2=(1.2,2.1)$$：**
- **数据点 $x_2=(1.2,2.1)$：**
- 到码字 1 $$(1,2)$$ 的距离平方：$$ (1.2-1)^2+(2.1-2)^2=0.04+0.01=0.05 $$
- 到码字 2 $$(3,4)$$ 的距离平方：$$ (1.2-3)^2+(2.1-4)^2\approx3.24+3.61=6.85 $$
- 到码字 1 $(1,2)$ 的距离平方：$ (1.2-1)^2+(2.1-2)^2=0.04+0.01=0.05 $
- 到码字 2 $(3,4)$ 的距离平方：$ (1.2-3)^2+(2.1-4)^2\approx3.24+3.61=6.85 $
分配：$$x_2$$ 属于码字 1。
分配：$x_2$ 属于码字 1。
- **数据点 $$x_3=(3,4)$$：**
- **数据点 $x_3=(3,4)$：**
- 到码字 1 $$(1,2)$$ 的距离平方：$$ (3-1)^2+(4-2)^2=4+4=8 $$
- 到码字 2 $$(3,4)$$ 的距离平方：$$ 0 $$
- 到码字 1 $(1,2)$ 的距离平方：$ (3-1)^2+(4-2)^2=4+4=8 $
- 到码字 2 $(3,4)$ 的距离平方：$ 0 $
分配：$$x_3$$ 属于码字 2。
分配：$x_3$ 属于码字 2。
- **数据点 $$x_4=(2.9,3.8)$$：**
- **数据点 $x_4=(2.9,3.8)$：**
- 到码字 1 $$(1,2)$$ 的距离平方：$$ (2.9-1)^2+(3.8-2)^2\approx3.61+3.24=6.85 $$
- 到码字 2 $$(3,4)$$ 的距离平方：$$ (2.9-3)^2+(3.8-4)^2=0.01+0.04=0.05 $$
- 到码字 1 $(1,2)$ 的距离平方：$ (2.9-1)^2+(3.8-2)^2\approx3.61+3.24=6.85 $
- 到码字 2 $(3,4)$ 的距离平方：$ (2.9-3)^2+(3.8-4)^2=0.01+0.04=0.05 $
分配：$$x_4$$ 属于码字 2。
分配：$x_4$ 属于码字 2。
可以将分配结果用指示矩阵 $$Z$$ 表示，每行对应一个数据点，每列对应一个码字，若数据点分配给该码字，则对应位置为 1，否则为 0。于是
可以将分配结果用指示矩阵 $Z$ 表示，每行对应一个数据点，每列对应一个码字，若数据点分配给该码字，则对应位置为 1，否则为 0。于是
$$
Z=\begin{pmatrix}
@ -155,10 +155,10 @@ $$
c_k = \frac{1}{|S_k|}\sum_{x\in S_k} x,
$$
其中 $$S_k$$ 表示被分配给第 $$k$$ 个码字的点的集合。
其中 $S_k$ 表示被分配给第 $k$ 个码字的点的集合。
- 对于码字 1：
数据点 $$x_1=(1,2)$$ 和 $$x_2=(1.2,2.1)$$，
数据点 $x_1=(1,2)$ 和 $x_2=(1.2,2.1)$，
新码字为
$$
c_1^{(1)}=\left(\frac{1+1.2}{2},\frac{2+2.1}{2}\right)
@ -166,7 +166,7 @@ $$
$$
- 对于码字 2：
数据点 $$x_3=(3,4)$$ 和 $$x_4=(2.9,3.8)$$，
数据点 $x_3=(3,4)$ 和 $x_4=(2.9,3.8)$，
新码字为
$$
c_2^{(1)}=\left(\frac{3+2.9}{2},\frac{4+3.8}{2}\right)
@ -221,17 +221,17 @@ $$
3. **更新簇中心**
- 对于某个簇 $$C_k$$，我们先将该簇中所有的数据点(除去原簇中心)都作为候选中心，即构成集合 $$P$$。
- 对于某个簇 $C_k$，我们先将该簇中所有的数据点(除去原簇中心)都作为候选中心，即构成集合 $P$。
- 对于集合 $$P$$ 中的每一个候选点 $$p$$，计算它与同一簇中其他所有点的距离总和：
- 对于集合 $P$ 中的每一个候选点 $p$，计算它与同一簇中其他所有点的距离总和：
$$
D(p) = \sum_{q \in C_k, \, q \neq p} d(p, q)
$$
其中 $$d(p, q)$$ 通常用欧氏距离或其他合适的距离度量表示。
其中 $d(p, q)$ 通常用欧氏距离或其他合适的距离度量表示。
- 选取使 $$D(p)$$ 最小的那个候选点作为新的簇中心 $$C_k$$。
- 选取使 $D(p)$ 最小的那个候选点作为新的簇中心 $C_k$。
时间复杂度分析：需要尝试的替换次数：$k \times (n-k)$​
每次替换需要对所有(n)个元素重新分配并计算代价，则该阶段在一次完整迭代中的最坏情况下复杂度为