From 6722fcea385a6cb4546d0c17aea6033fb821472c Mon Sep 17 00:00:00 2001 From: zhangsan <646228430@qq.com> Date: Sat, 22 Mar 2025 11:38:03 +0800 Subject: [PATCH] =?UTF-8?q?Commit=20on=202025/03/22=20=E5=91=A8=E5=85=AD?= =?UTF-8?q?=2011:38:03.63?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Java/Jupyter notebook快速上手.md | 2 +- Java/linux服务器.md | 17 +- 科研/交替方向乘子法（ADMM）.md | 6 +- 科研/循环神经网络.md | 14 +- 科研/数学基础.md | 340 +++++++++++++++---------------- 科研/郭款论文.md | 50 ++--- 6 files changed, 215 insertions(+), 214 deletions(-) diff --git a/Java/Jupyter notebook快速上手.md b/Java/Jupyter notebook快速上手.md index 133a7fa..42d3225 100644 --- a/Java/Jupyter notebook快速上手.md +++ b/Java/Jupyter notebook快速上手.md @@ -205,7 +205,7 @@ h 查看所有快捷键 ```latex 这是一元二次方程求解公式 -$$x = \frac{-b\pm \sqrt{b^2-4ac}}{2a}$$ +$x = \frac{-b\pm \sqrt{b^2-4ac}}{2a}$ 初中数学内容 ``` diff --git a/Java/linux服务器.md b/Java/linux服务器.md index a64e1bd..51d2849 100644 --- a/Java/linux服务器.md +++ b/Java/linux服务器.md @@ -900,6 +900,8 @@ py脚本3：将本地图片上传到easyimage图床并将链接返回替换md文 [【好玩儿的Docker项目】10分钟搭建一个Typecho博客｜太破口！念念不忘，必有回响！-我不是咕咕鸽](https://blog.laoda.de/archives/docker-compose-install-typecho) +typecho:https://github.com/typecho/typecho/ + 注意：nginx一定要对typecho目录有操作权限！ ```text @@ -987,14 +989,19 @@ rm -rf /root/data/docker_data/typecho # 完全删除映射到本地的数据 -主题：https://github.com/HaoOuBa/Joe +Joe主题：https://github.com/HaoOuBa/Joe + +[Joe再续前缘主题 - 搭建本站同款网站 - 易航博客](https://blog.yihang.info/archives/18.html) markdown编辑器插件：https://xiamp.net/archives/aaeditor-is-another-typecho-editor-plugin.html -- 关闭'开启公式显示'，将公式渲染交给typecho-markdown +- 关闭'开启公式显示'，将公式渲染交给markdownParse markdown解析器插件：[mrgeneralgoo/typecho-markdown: A markdown parse plugin for typecho.](https://github.com/mrgeneralgoo/typecho-markdown) +- 确保代码块\```后面紧跟着语言，如\```java，否则无法正确显示。 +- 确保公式块$$是 + 修改文章详情页的上方信息： @@ -1046,6 +1053,8 @@ if (!defined('__TYPECHO_ROOT_DIR__')) { ``` +大坑：{x}会显示为勾选框，无法正常进行latex公式解析，因为`typecho/usr/themes/Joe/public/short.php`中设置了短代码替换，**在文章输出前**对 `$content` 中的特定标记或短代码进行搜索和替换，从而实现一系列自定义功能。现已全部注释。 + slug为页面缩略名，在新增文章时可以传入，默认是index数字。 @@ -1054,10 +1063,6 @@ slug为页面缩略名，在新增文章时可以传入，默认是index数字 -### **Markdown文件自动发布** - - - ## qBittorrent [【好玩的Docker项目】10分钟搭建你专属的下载神器——qbittorrent-我不是咕咕鸽](https://blog.laoda.de/archives/docker-install-qbittorrent) diff --git a/科研/交替方向乘子法（ADMM）.md b/科研/交替方向乘子法（ADMM）.md index b6fccfc..d421bc6 100644 --- a/科研/交替方向乘子法（ADMM）.md +++ b/科研/交替方向乘子法（ADMM）.md @@ -21,19 +21,19 @@ 1. **问题分解** 将原问题分解为两个子问题。假设原问题表示为： - $$\min_{x, z} f(x) + g(z) \quad \text{s.t.} \quad Ax + Bz = c$$ + $\min_{x, z} f(x) + g(z) \quad \text{s.t.} \quad Ax + Bz = c$ 其中 $f$ 和 $g$ 是凸函数，$A$ 和 $B$ 为给定矩阵。 2. **构造增强拉格朗日函数** 引入拉格朗日乘子 $y$，构造增强拉格朗日函数： - $$L_\rho(x, z, y) = f(x) + g(z) + y^T(Ax+Bz-c) + \frac{\rho}{2}\|Ax+Bz-c\|^2$$ + $L_\rho(x, z, y) = f(x) + g(z) + y^T(Ax+Bz-c) + \frac{\rho}{2}\|Ax+Bz-c\|^2$ 其中 $\rho > 0$ 控制惩罚项的权重。 3. **交替更新** - **更新 $x$**：固定 $z$ 和 $y$，求解 $\arg\min_x L_\rho(x, z, y)$。 - **更新 $z$**：固定 $x$ 和 $y$，求解 $\arg\min_z L_\rho(x, z, y)$。 - **更新乘子 $y$**：按梯度上升方式更新： - $$y := y + \rho(Ax + Bz - c)$$ + $y := y + \rho(Ax + Bz - c)$ 4. **迭代求解** 重复上述步骤，直到原始残差和对偶残差满足收敛条件（如 $\|Ax+Bz-c\| < \epsilon$）。 diff --git a/科研/循环神经网络.md b/科研/循环神经网络.md index 65dcbf8..e309be0 100644 --- a/科研/循环神经网络.md +++ b/科研/循环神经网络.md @@ -222,14 +222,12 @@ LSTM 的核心在于其“细胞状态”（cell state），这是一个贯穿 $$ \begin{aligned} -\textbf{遗忘门:}\quad f_t &= \sigma\Big(W_{xf}\, x_t + W_{hf}\, h_{t-1} + b_f\Big), \\ -\textbf{输入门:}\quad i_t &= \sigma\Big(W_{xi}\, x_t + W_{hi}\, h_{t-1} + b_i\Big), \\ -\textbf{输出门:}\quad o_t &= \sigma\Big(W_{xo}\, x_t + W_{ho}\, h_{t-1} + b_o\Big), \\ -\\ -\textbf{候选细胞状态:}\quad \tilde{c}_t &= \tanh\Big(W_{xc}\, x_t + W_{hc}\, h_{t-1} + b_c\Big), \\ -\textbf{细胞状态更新:}\quad c_t &= f_t \odot c_{t-1} + i_t \odot \tilde{c}_t, \\ - -\textbf{隐藏状态:}\quad h_t &= o_t \odot \tanh(c_t). +\textbf{遗忘门:} \quad f_t = \sigma\Big(W_{xf}\, x_t + W_{hf}\, h_{t-1} + b_f\Big) \\ +\textbf{输入门:} \quad i_t = \sigma\Big(W_{xi}\, x_t + W_{hi}\, h_{t-1} + b_i\Big) \\ +\textbf{输出门:} \quad o_t = \sigma\Big(W_{xo}\, x_t + W_{ho}\, h_{t-1} + b_o\Big) \\ +\textbf{候选细胞状态:} \quad \tilde{c}_t = \tanh\Big(W_{xc}\, x_t + W_{hc}\, h_{t-1} + b_c\Big) \\ +\textbf{细胞状态更新:} \quad c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t \\ +\textbf{隐藏状态:} \quad h_t = o_t \odot \tanh(c_t) \end{aligned} $$ diff --git a/科研/数学基础.md b/科研/数学基础.md index 79b9dc0..f9bad45 100644 --- a/科研/数学基础.md +++ b/科研/数学基础.md @@ -105,24 +105,24 @@ $$ **设定具体数值** - 输入向量： - $$ +$$ x = \begin{pmatrix} 1 \\ 2 \end{pmatrix} - $$ +$$ - 权重矩阵： - $$ +$$ W = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} - $$ +$$ - 偏置向量： - $$ +$$ b = \begin{pmatrix} 1 \\ 1 \end{pmatrix} - $$ +$$ - 真实输出： - $$ +$$ y_{\text{true}} = \begin{pmatrix} 7 \\ 13 \end{pmatrix} - $$ +$$ --- @@ -285,9 +285,9 @@ $$ **用途**： - **正则化（L2正则化/权重衰减）**：在训练过程中，加入 L2 正则项有助于防止模型过拟合。正则化项通常是权重的 L2 范数的平方，例如 - $$ +$$ \lambda \|\mathbf{w}\|_2^2 - $$ +$$ 其中 $\lambda$ 是正则化系数。 - **梯度裁剪**：在 RNN 等深度网络中，通过计算梯度的 L2 范数来判断是否需要对梯度进行裁剪，从而防止梯度爆炸。 @@ -369,9 +369,9 @@ $$ - **权重形状**：$\mathbf{w} \in \mathbb{R}^d$（向量） - **预测公式**： - $$ +$$ \hat{y}_i = \mathbf{w}^\top \mathbf{x}_i - $$ +$$ 其中 $\hat{y}_i$ 是标量输出。 --- @@ -387,9 +387,9 @@ $$ - **权重形状**：$W \in \mathbb{R}^{m \times d}$（矩阵） - **预测公式**： - $$ +$$ \hat{\mathbf{y}}_i = W \mathbf{x}_i + \mathbf{b} - $$ +$$ 其中 $\mathbf{b} \in \mathbb{R}^m$ 是偏置向量。 @@ -518,28 +518,28 @@ $$ - 对于 $\lambda_1 = 2$： 解方程： - $$ +$$ (A - 2I)\mathbf{x} = \begin{bmatrix} 2-2 & 1 \\ 0 & 3-2 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 & 1 \\ 0 & 1 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} x_2 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} - $$ +$$ 从第一行 $x_2 = 0$。因此特征向量可以写成： - $$ +$$ \mathbf{v}_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad (\text{任意非零常数倍}) - $$ +$$ - 对于 $\lambda_2 = 3$： 解方程： - $$ +$$ (A - 3I)\mathbf{x} = \begin{bmatrix} 2-3 & 1 \\ 0 & 3-3 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} -1 & 1 \\ 0 & 0 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} -x_1+x_2 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} - $$ +$$ 从第一行得 $-x_1 + x_2 = 0$ 或 $x_2 = x_1$。因此特征向量可以写成： - $$ +$$ \mathbf{v}_2 = \begin{bmatrix} 1 \\ 1 \end{bmatrix} \quad (\text{任意非零常数倍}) - $$ +$$ @@ -566,21 +566,21 @@ $$ - 对于 $\lambda_1 = d_1$，方程 $(D-d_1I)\mathbf{x}=\mathbf{0}$ 得到： - $$ +$$ \begin{bmatrix} 0 & 0 \\ 0 & d_2-d_1 \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ (d_2-d_1)x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} - $$ +$$ 若 $d_1 \neq d_2$，则必须有 $x_2=0$，而 $x_1$ 可任意取非零值，因此特征向量为： - $$ +$$ \mathbf{v}_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix} - $$ +$$ - 对于 $\lambda_2 = d_2$，类似地解得： - $$ +$$ \mathbf{v}_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix} - $$ +$$ @@ -598,36 +598,36 @@ $$ - $\sigma$ 是激活函数（如 ReLU、Sigmoid 等），用于引入非线性。 - **输入向量 $a^{(0)}$**： - $$ +$$ a^{(0)} = \begin{pmatrix} a_0^{(0)} \\ a_1^{(0)} \\ \vdots \\ a_n^{(0)} \end{pmatrix} - $$ +$$ 这是一个 $n+1$ 维的列向量，表示输入特征。 - **权重矩阵 $\mathbf{W}$**： - $$ +$$ \mathbf{W} = \begin{pmatrix} w_{0,0} & w_{0,1} & \cdots & w_{0,n} \\ w_{1,0} & w_{1,1} & \cdots & w_{1,n} \\ \vdots & \vdots & \ddots & \vdots \\ w_{k,0} & w_{k,1} & \cdots & w_{k,n} \\ \end{pmatrix} - $$ +$$ 这是一个 $k \times (n+1)$ 的矩阵，其中 $k$ 是输出向量的维度，$n+1$ 是输入向量的维度。 - **偏置向量 $b$**： - $$ +$$ b = \begin{pmatrix} b_0 \\ b_1 \\ \vdots \\ b_k \end{pmatrix} - $$ +$$ 这是一个 $k$ 维的列向量，用于调整输出。 @@ -636,9 +636,9 @@ $$ 1. 在传统的连续时间 RNN 写法里，常见的是 - $$ +$$ \sum_{j} W_{ij} \, \sigma(x_j), - $$ +$$ 这代表对所有神经元 $j$ 的激活 $\sigma(x_j)$ 做加权求和，再求和到神经元 $i$。 @@ -646,23 +646,23 @@ $$ - 输出向量的第 1 个分量（记作第 1 行的结果）： - $$ +$$ (W_r x)_1 = 0.3 \cdot x_1 + (-0.5) \cdot x_2 = 0.3 \cdot 2 + (-0.5) \cdot 1 = 0.6 - 0.5 = 0.1. - $$ +$$ - 输出向量的第 2 个分量（第 2 行的结果）： - $$ +$$ (W_r x)_2 = 1.2 \cdot x_1 + 0.4 \cdot x_2 = 1.2 \cdot 2 + 0.4 \cdot 1 = 2.4 + 0.4 = 2.8. - $$ +$$ 2. 在使用矩阵乘法时，你可以写成 - $$ +$$ y = W_r \, \sigma(x), - $$ +$$ 其中 $\sigma$ 表示对 $x$ 的各分量先做激活，接着用 $W_r$ 乘上去。这就是把“$\sum_j \dots$”用矩阵乘法隐藏了。 @@ -694,10 +694,6 @@ $$ - - - - ### 奇异值 **定义** @@ -878,7 +874,7 @@ $$ **1. 问题回顾** -给定一个**对称非负**矩阵 $$A\in\mathbb{R}^{n\times n}$$，我们希望找到一个**非负矩阵** $$H\in\mathbb{R}^{n\times k}$$ 使得 +给定一个**对称非负**矩阵 $A\in\mathbb{R}^{n\times n}$，我们希望找到一个**非负矩阵** $H\in\mathbb{R}^{n\times k}$ 使得 $$ A \approx HH^T. $$ @@ -886,7 +882,7 @@ $$ $$ f(H)=\frac{1}{2}\|A-HH^T\|_F^2, $$ -其中 $$\|\cdot\|_F$$ 表示 Frobenius 范数，定义为矩阵所有元素的平方和的平方根。 +其中 $\|\cdot\|_F$ 表示 Frobenius 范数，定义为矩阵所有元素的平方和的平方根。 $\| A - H H^T \|_F^2$ 表示矩阵 $A - H H^T$ 的所有元素的平方和。 @@ -909,7 +905,7 @@ $$ f(H)=\frac{1}{2}\operatorname{trace}\Bigl[\bigl(A-HH^T\bigr)^T\bigl(A-HH^T\bigr)\Bigr]. $$ -注意到 $$A$$ 和$$HH^T$$ 都是对称矩阵，可以简化为： +注意到 $A$ 和$HH^T$ 都是对称矩阵，可以简化为： $$ f(H)=\frac{1}{2}\operatorname{trace}\Bigl[\bigl(A-HH^T\bigr)^2\Bigr]. @@ -921,7 +917,7 @@ $$ f(H)=\frac{1}{2}\operatorname{trace}\Bigl[A^2 - 2AHH^T + (HH^T)^2\Bigr]. $$ -其中 $$\operatorname{trace}(A^2)$$ 与 $$H$$ 无关，可以看作常数，不影响梯度计算。 +其中 $\operatorname{trace}(A^2)$ 与 $H$ 无关，可以看作常数，不影响梯度计算。 **计算** $\nabla_H \operatorname{trace}(-2 A H H^T)$ $$ @@ -945,17 +941,17 @@ $$ 2.2 梯度下降更新 -设学习率为 $$\eta>0$$，则梯度下降的**基本更新公式为**： +设学习率为 $\eta>0$，则梯度下降的**基本更新公式为**： $$ H \leftarrow H - \eta\, \nabla_H f(H) = H - 2\eta\Bigl(HH^T H - A H\Bigr). $$ -由于我们要求 $$H$$ 中的元素保持非负，所以每次更新之后通常需要进行**投影**： +由于我们要求 $H$ 中的元素保持非负，所以每次更新之后通常需要进行**投影**： $$ H_{ij} \leftarrow \max\{0,\,H_{ij}\}. $$ -这种方法称为**投影梯度下降**，保证每一步更新后 $$H$$ 满足非负约束。 +这种方法称为**投影梯度下降**，保证每一步更新后 $H$ 满足非负约束。 **3. 举例说明** @@ -963,43 +959,43 @@ $$ $$ A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}, \quad k=1, \quad H \in \mathbb{R}^{2 \times 1} $$ -初始化 $$H^{(0)} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$$，学习率 $$\eta = 0.01$$。 +初始化 $H^{(0)} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$，学习率 $\eta = 0.01$。 **迭代步骤**： 1. **初始 \( H^{(0)} \):** - $$ +$$ H^{(0)} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}, \quad H^{(0)}(H^{(0)})^T = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}. - $$ +$$ 目标函数值： - $$ +$$ f(H^{(0)}) = \frac{1}{2} \left( (2-1)^2 + 2(1-1)^2 + (2-1)^2 \right) = 1. - $$ +$$ 2. **计算梯度：** - $$ +$$ HH^T H = \begin{bmatrix} 2 \\ 2 \end{bmatrix}, \quad AH = \begin{bmatrix} 3 \\ 3 \end{bmatrix}, - $$ +$$ - $$ +$$ \nabla_H f(H^{(0)}) = 2 \left( \begin{bmatrix} 2 \\ 2 \end{bmatrix} - \begin{bmatrix} 3 \\ 3 \end{bmatrix} \right) = \begin{bmatrix} -2 \\ -2 \end{bmatrix}. - $$ +$$ 3. **更新 \( H \):** - $$ +$$ H^{(1)} = H^{(0)} - 2 \cdot 0.01 \cdot \begin{bmatrix} -2 \\ -2 \end{bmatrix} = \begin{bmatrix} 1.04 \\ 1.04 \end{bmatrix}. - $$ +$$ 4. **更新后目标函数：** - $$ +$$ H^{(1)}(H^{(1)})^T = \begin{bmatrix} 1.0816 & 1.0816 \\ 1.0816 & 1.0816 \end{bmatrix}, - $$ +$$ - $$ +$$ f(H^{(1)}) = \frac{1}{2} \left( (2-1.0816)^2 + 2(1-1.0816)^2 + (2-1.0816)^2 \right) \approx 0.8464. - $$ +$$ 一次迭代后目标函数值从 $1.0$ 下降至 $0.8464$ @@ -1127,14 +1123,14 @@ $$ L \mathbf{1} = \mathbf{0}, $$ -其中 $$\mathbf{1} = (1, 1, \ldots, 1)^T$$，因此 $$0$$ 一定是 $$L$$ 的一个特征值。 +其中 $\mathbf{1} = (1, 1, \ldots, 1)^T$，因此 $0$ 一定是 $L$ 的一个特征值。 因为拉普拉斯矩阵的定义为 $L = D - A$，其中每一行的元素之和为零，所以当向量所有分量都相等时，每一行的加权求和自然等于零。 - 更进一步，**零特征值的重数等于图的连通分量(独立的子图)个数**。也就是说，如果图 \(G\) 有 \(k\) 个连通分量，则 \(L\) 的零特征值重数为 \(k\)。 **简单证明思路** -考虑图中每个连通分量，对于某个连通分量内的所有顶点，可以构造一个特征向量，使得在该连通分量中所有分量取相同常数，而在其他部分取零。由于该连通分量内部的任意两个顶点都是连通的，该特征向量满足 \(Lx = 0\)。这样，对于每个连通分量都可以构造出一个线性无关的零特征值特征向量，从而零特征值的重数至少为连通分量的数量；进一步证明可以证明重数不会超过这个数量。 +考虑图中每个连通分量，对于某个连通分量内的所有顶点，可以构造一个特征向量，使得在该连通分量中所有分量取相同常数，而在其他部分取零。由于该连通分量内部的任意两个顶点都是连通的，该特征向量满足 $Lx = 0$。这样，对于每个连通分量都可以构造出一个线性无关的零特征值特征向量，从而零特征值的重数至少为连通分量的数量；进一步证明可以证明重数不会超过这个数量。 4. **谱分解及应用** @@ -1142,17 +1138,17 @@ $$ $$ L = U \Lambda U^T, $$ -其中 \(U\) 是**正交矩阵**，\($\Lambda$) 是包含 \(L\) 所有非负特征值的**对角矩阵**。 +其中$U$ 是**正交矩阵**，$\Lambda$ 是包含 $L$ 所有非负特征值的**对角矩阵**。 这一性质使得拉普拉斯矩阵在谱聚类、图分割等应用中非常有用。 总结 -拉普拉斯矩阵 \(L = D - A\) 是描述图结构的重要工具，具有如下主要性质： +拉普拉斯矩阵 $L = D - A$是描述图结构的重要工具，具有如下主要性质： -- **对称性**：\(L\) 是对称矩阵； -- **正半定性**：任意向量 \(x\) 有 \(x^T L x \ge 0\)； -- **零特征值**：\(L\) 总有零特征值，且其重数与图的连通分量个数相等； -- **谱分解**：\(L\) 可进行正交谱分解，广泛应用于图的聚类与分割等领域。 +- **对称性**：$L$是对称矩阵； +- **正半定性**：任意向量 $x$ 有 $x^T L x \ge 0$； +- **零特征值**：$L$ 总有零特征值，且其重数与图的连通分量个数相等； +- **谱分解**：$L$ 可进行正交谱分解，广泛应用于图的聚类与分割等领域。 这些性质不仅在理论上非常重要，而且在图论和数据分析等实际问题中有广泛的应用。 @@ -1164,7 +1160,7 @@ $$ ### **归一化拉普拉斯矩阵** -为了在某些应用中（例如谱聚类、图卷积网络等）获得更好的数值性质和归一化效果，我们可以构造 **对称归一化拉普拉斯矩阵**，记为 $$L_{sym}$$，定义为 +为了在某些应用中（例如谱聚类、图卷积网络等）获得更好的数值性质和归一化效果，我们可以构造 **对称归一化拉普拉斯矩阵**，记为 $L_{sym}$，定义为 $$ L_{sym} = D^{-1/2} L D^{-1/2} = I - D^{-1/2} A D^{-1/2}, @@ -1172,8 +1168,8 @@ $$ 其中 -- $$D^{-1/2}$$ 表示度矩阵的逆平方根， -- $$I$$ 为单位矩阵。 +- $D^{-1/2}$ 表示度矩阵的逆平方根， +- $I$ 为单位矩阵。 $$ D = \begin{pmatrix} @@ -1192,13 +1188,13 @@ $$ **主要特点** 1. **归一化**： - 通过 $$D^{-1/2}$$ 的两侧预处理，将不同顶点的度数影响消除，使得矩阵在谱分解时能更好地反映图的结构。 + 通过 $D^{-1/2}$ 的两侧预处理，将不同顶点的度数影响消除，使得矩阵在谱分解时能更好地反映图的结构。 2. **对称性**： - $$L_{sym}$$ 是对称矩阵，这意味着它可以进行正交谱分解，其特征值均为实数。 + $L_{sym}$ 是对称矩阵，这意味着它可以进行正交谱分解，其特征值均为实数。 3. **谱性质**： - $$L_{sym}$$ 的特征值都位于区间 $$[0, 2]$$ 内。这一性质对于很多图论算法的稳定性和收敛性分析都非常重要。 + $L_{sym}$ 的特征值都位于区间 $[0, 2]$ 内。这一性质对于很多图论算法的稳定性和收敛性分析都非常重要。 @@ -1206,21 +1202,21 @@ $$ ## Fiedler向量 -根据谱分解理论，$$L$$ 的特征值满足 +根据谱分解理论，$L$ 的特征值满足 $$ x 0 = \lambda_1 \le \lambda_2 \le \cdots \le \lambda_n. $$ -其中，$$\lambda_1 = 0$$ 对应的特征向量通常为所有分量相同的常数向量。而 **Fiedler 向量** 就是对应于 $$\lambda_2$$ (第二小的特征值)的特征向量。 +其中，$\lambda_1 = 0$ 对应的特征向量通常为所有分量相同的常数向量。而 **Fiedler 向量** 就是对应于 $\lambda_2$ (第二小的特征值)的特征向量。 **图的谱划分** 1. 构建图的拉普拉斯矩阵 - - 根据给定的图结构,构建图的拉普拉斯矩阵 L。 + - 根据给定的图结构,构建图的拉普拉斯矩阵 $L$。 2. 计算 Fiedler 向量 - - 求解拉普拉斯矩阵 L 的第二小特征值对应的特征向量,即 Fiedler 向量。 + - 求解拉普拉斯矩阵 $L$ 的第二小特征值对应的特征向量,即 Fiedler 向量。 3. 根据 Fiedler 向量进行图划分 @@ -1228,9 +1224,9 @@ $$ - 找到 Fiedler 向量元素值为 0 附近的分界点,将图划分为两个子图。 **Fiedler 向量在连接紧密的顶点上的取值往往比较接近** - $$ +$$ Fiedler 向量 :xv = \begin{pmatrix}0.8 \\0.7 \\0.6 \\-0.5 \\-0.6 \\-0.7\end{pmatrix}. - $$ +$$ - 正值部分：对应顶点 1, 2, 3； - 负值部分：对应顶点 4, 5, 6。 @@ -1259,20 +1255,22 @@ $$ 1.构造相似性图 - **数据表示**： - 给定数据点 $$\{x_1, x_2, \ldots, x_n\}$$。 + 给定数据点 $\{x_1, x_2, \ldots, x_n\}$。 -- **相似性矩阵 $$W$$**： - 根据数据点之间的距离或相似性构造矩阵 $$W$$。常见方法包括： +- **相似性矩阵 $W$**： + 根据数据点之间的距离或相似性构造矩阵 $W$。常见方法包括： - **Gaussian 核函数**： - $$ - W_{ij} = \exp\Bigl(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\Bigr), - $$ - 只有当 $$x_i$$ 与 $$x_j$$ 彼此接近时， $$W_{ij}$$ 才较大；衡量数据点之间的距离并将其映射为一个 [0, 1] 之间的相似性值。 +$$ +W_{ij} = \exp\Bigl(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\Bigr), +$$ +只有当 $x_i$ 与 $x_j$ 彼此接近时， $W_{ij}$ 才较大；衡量数据点之间的距离并将其映射为一个 [0, 1] 之间的相似性值。 + +其中 $\sigma$ 为尺度参数，当 $\sigma$ 较小时，只有非常接近的数据点才会被认为是相似的 + +**K近邻图**：仅连接每个点与其 $k$ 个最近邻之间的边，其余 $W_{ij} = 0$。 - 其中 $$\sigma$$ 为尺度参数，当 $$\sigma$$ 较小时，只有非常接近的数据点才会被认为是相似的 - - **K近邻图**：仅连接每个点与其 $$k$$ 个最近邻之间的边，其余 $$W_{ij} = 0$$。 2.构造图拉普拉斯矩阵 @@ -1281,26 +1279,26 @@ $$ 3.计算特征向量 -​ 对选定的拉普拉斯矩阵（例如 $$L_{sym}$$）进行特征分解，求出前 $$k$$ 个最小特征值对应的特征向 量。 -​ 注意：对于未归一化的拉普拉斯矩阵，零特征值对应的特征向量通常是常数向量，所以在分 解时忽略这个解，选择第二小开始的 $$k$$ 个特征向量。 +​ 对选定的拉普拉斯矩阵（例如 $L_{sym}$）进行特征分解，求出前 $k$ 个最小特征值对应的特征向 量。 +​ 注意：对于未归一化的拉普拉斯矩阵，零特征值对应的特征向量通常是常数向量，所以在分 解时忽略这个解，选择第二小开始的 $k$ 个特征向量。 4.构造嵌入空间 -- **形成矩阵 $$U$$**： - 将求得的 $$k$$ 个特征向量作为列组成矩阵 - $$ +- **形成矩阵 $U$**： + 将求得的 $k$ 个特征向量作为列组成矩阵 +$$ U = \begin{pmatrix} u_1(1) & u_2(1) & \cdots & u_k(1) \\ u_1(2) & u_2(2) & \cdots & u_k(2) \\ \vdots & \vdots & \ddots & \vdots \\ u_1(n) & u_2(n) & \cdots & u_k(n) \end{pmatrix}. - $$ +$$ 其中，每一行对应原数据点在低维空间中的表示。 例： - **归一化（可选）**： - 对于对称归一化的情况，可以对 $$U$$ 的每一行做归一化处理，使得每一行变为单位向量，这一步有助于后续聚类的稳定性。 + 对于对称归一化的情况，可以对 $U$ 的每一行做归一化处理，使得每一行变为单位向量，这一步有助于后续聚类的稳定性。 5.聚类 @@ -1324,38 +1322,38 @@ $$ --- -**1. 构造相似性矩阵 $$W$$** +**1. 构造相似性矩阵 $W$** 采用 **Gaussian 核函数** $$ W_{ij}=\exp\Bigl(-\frac{(x_i-x_j)^2}{2\sigma^2}\Bigr). $$ -取 $$\sigma=2$$（参数可调），则分母为 $$2\sigma^2=8$$。 +取 $\sigma=2$（参数可调），则分母为 $2\sigma^2=8$。 计算部分相似性（近似值）： -- $$x_1,x_2: \; |1-2|^2=1,\quad W_{12}=\exp(-1/8)\approx0.8825.$$ -- $$x_1,x_3: \; |1-5|^2=16,\quad W_{13}=\exp(-16/8)=\exp(-2)\approx0.1353.$$ -- $$x_1,x_4: \; |1-6|^2=25,\quad W_{14}=\exp(-25/8)\approx0.0439.$$ -- $$x_1,x_5: \; |1-10|^2=81,\quad W_{15}=\exp(-81/8)\approx0.00004.$$ -- $$x_1,x_6: \; |1-11|^2=100,\quad W_{16}=\exp(-100/8)\approx0.00001.$$ +- $x_1,x_2: \; |1-2|^2=1,\quad W_{12}=\exp(-1/8)\approx0.8825.$ +- $x_1,x_3: \; |1-5|^2=16,\quad W_{13}=\exp(-16/8)=\exp(-2)\approx0.1353.$ +- $x_1,x_4: \; |1-6|^2=25,\quad W_{14}=\exp(-25/8)\approx0.0439.$ +- $x_1,x_5: \; |1-10|^2=81,\quad W_{15}=\exp(-81/8)\approx0.00004.$ +- $x_1,x_6: \; |1-11|^2=100,\quad W_{16}=\exp(-100/8)\approx0.00001.$ -- $$x_2,x_3: \; |2-5|^2=9,\quad W_{23}=\exp(-9/8)\approx0.3247.$$ -- $$x_2,x_4: \; |2-6|^2=16,\quad W_{24}=\exp(-16/8)=\exp(-2)\approx0.1353.$$ -- $$x_2,x_5: \; |2-10|^2=64,\quad W_{25}=\exp(-64/8)=\exp(-8)\approx0.000335.$$ -- $$x_2,x_6: \; |2-11|^2=81,\quad W_{26}=\exp(-81/8)\approx0.00004.$$ +- $x_2,x_3: \; |2-5|^2=9,\quad W_{23}=\exp(-9/8)\approx0.3247.$ +- $x_2,x_4: \; |2-6|^2=16,\quad W_{24}=\exp(-16/8)=\exp(-2)\approx0.1353.$ +- $x_2,x_5: \; |2-10|^2=64,\quad W_{25}=\exp(-64/8)=\exp(-8)\approx0.000335.$ +- $x_2,x_6: \; |2-11|^2=81,\quad W_{26}=\exp(-81/8)\approx0.00004.$ -- $$x_3,x_4: \; |5-6|^2=1,\quad W_{34}=\exp(-1/8)\approx0.8825.$$ -- $$x_3,x_5: \; |5-10|^2=25,\quad W_{35}=\exp(-25/8)\approx0.0439.$$ -- $$x_3,x_6: \; |5-11|^2=36,\quad W_{36}=\exp(-36/8)=\exp(-4.5)\approx0.0111.$$ +- $x_3,x_4: \; |5-6|^2=1,\quad W_{34}=\exp(-1/8)\approx0.8825.$ +- $x_3,x_5: \; |5-10|^2=25,\quad W_{35}=\exp(-25/8)\approx0.0439.$ +- $x_3,x_6: \; |5-11|^2=36,\quad W_{36}=\exp(-36/8)=\exp(-4.5)\approx0.0111.$ -- $$x_4,x_5: \; |6-10|^2=16,\quad W_{45}=\exp(-16/8)=\exp(-2)\approx0.1353.$$ -- $$x_4,x_6: \; |6-11|^2=25,\quad W_{46}=\exp(-25/8)\approx0.0439.$$ +- $x_4,x_5: \; |6-10|^2=16,\quad W_{45}=\exp(-16/8)=\exp(-2)\approx0.1353.$ +- $x_4,x_6: \; |6-11|^2=25,\quad W_{46}=\exp(-25/8)\approx0.0439.$ -- $$x_5,x_6: \; |10-11|^2=1,\quad W_{56}=\exp(-1/8)\approx0.8825.$$ +- $x_5,x_6: \; |10-11|^2=1,\quad W_{56}=\exp(-1/8)\approx0.8825.$ -由于 $$W$$ 是对称矩阵，对角元一般取 0（或1，根据需求），我们构造相似性矩阵 $$W$$ 为 +由于 $W$ 是对称矩阵，对角元一般取 0（或1，根据需求），我们构造相似性矩阵 $W$ 为 $$ W=\begin{pmatrix} @@ -1370,7 +1368,7 @@ $$ --- -2. **构造度矩阵 $$D$$** +2. **构造度矩阵 $D$** $$ D_{ii}=\sum_{j=1}^6 W_{ij}. @@ -1378,18 +1376,18 @@ $$ 近似计算： -- 对于 $$x_1$$： - $$D_{11}\approx0.8825+0.1353+0.0439+0.00004+0.00001\approx1.0617.$$ -- 对于 $$x_2$$： - $$D_{22}\approx0.8825+0.3247+0.1353+0.000335+0.00004\approx1.3429.$$ -- 对于 $$x_3$$： - $$D_{33}\approx0.1353+0.3247+0.8825+0.0439+0.0111\approx1.3975.$$ -- 对于 $$x_4$$： - $$D_{44}\approx0.0439+0.1353+0.8825+0.1353+0.0439\approx1.241.$$ -- 对于 $$x_5$$： - $$D_{55}\approx0.00004+0.000335+0.0439+0.1353+0.8825\approx1.0617.$$ -- 对于 $$x_6$$： - $$D_{66}\approx0.00001+0.00004+0.0111+0.0439+0.8825\approx0.9375.$$ +- 对于 $x_1$： + $D_{11}\approx0.8825+0.1353+0.0439+0.00004+0.00001\approx1.0617.$ +- 对于 $x_2$： + $D_{22}\approx0.8825+0.3247+0.1353+0.000335+0.00004\approx1.3429.$ +- 对于 $x_3$： + $D_{33}\approx0.1353+0.3247+0.8825+0.0439+0.0111\approx1.3975.$ +- 对于 $x_4$： + $D_{44}\approx0.0439+0.1353+0.8825+0.1353+0.0439\approx1.241.$ +- 对于 $x_5$： + $D_{55}\approx0.00004+0.000335+0.0439+0.1353+0.8825\approx1.0617.$ +- 对于 $x_6$： + $D_{66}\approx0.00001+0.00004+0.0111+0.0439+0.8825\approx0.9375.$ 构造度矩阵： $$ @@ -1405,7 +1403,7 @@ $$ --- -**3. 构造拉普拉斯矩阵 $$L$$** +**3. 构造拉普拉斯矩阵 $L$** 未归一化拉普拉斯矩阵定义为 $$ @@ -1422,7 +1420,7 @@ $$ **4. 特征分解与构造低维嵌入** -为了分成 3 类，通常我们取图拉普拉斯矩阵（或归一化拉普拉斯矩阵）的前 $$k=3$$ 个最小特征值对应的特征向量。 +为了分成 3 类，通常我们取图拉普拉斯矩阵（或归一化拉普拉斯矩阵）的前 $k=3$ 个最小特征值对应的特征向量。 （注意：对于未归一化拉普拉斯矩阵，第一个特征值为 0，对应常数向量；但在归一化方法中，所有 3 个特征向量通常都有实际意义。） 假设经过特征分解后，我们得到了三个特征向量 @@ -1441,16 +1439,16 @@ u_1(6) & u_2(6) & u_3(6) \end{pmatrix}. $$ -每一行 $$i$$ 表示数据点 $$x_i$$ 在 **3 维低维嵌入空间中的表示**。 +每一行 $i$ 表示数据点 $x_i$ 在 **3 维低维嵌入空间中的表示**。 **假设得到的低维表示**（示例数值）： -- $$x_1: \; (0.9,\ 0.2,\ 0.1)$$ -- $$x_2: \; (0.8,\ 0.3,\ 0.2)$$ -- $$x_3: \; (-0.1,\ 0.8,\ 0.1)$$ -- $$x_4: \; (-0.2,\ 0.7,\ 0.0)$$ -- $$x_5: \; (0.1,\ -0.2,\ 0.9)$$ -- $$x_6: \; (0.0,\ -0.1,\ 1.0)$$ +- $x_1: \; (0.9,\ 0.2,\ 0.1)$ +- $x_2: \; (0.8,\ 0.3,\ 0.2)$ +- $x_3: \; (-0.1,\ 0.8,\ 0.1)$ +- $x_4: \; (-0.2,\ 0.7,\ 0.0)$ +- $x_5: \; (0.1,\ -0.2,\ 0.9)$ +- $x_6: \; (0.0,\ -0.1,\ 1.0)$ --- @@ -1460,70 +1458,70 @@ $$ 在本例中，k-means 会尝试将点分为 3 类。 根据上述低维表示，很容易看到： -- 数据点 $$x_1$$ 和 $$x_2$$ 聚在一起； -- 数据点 $$x_3$$ 和 $$x_4$$ 聚在一起； -- 数据点 $$x_5$$ 和 $$x_6$$ 聚在一起。 +- 数据点 $x_1$ 和 $x_2$ 聚在一起； +- 数据点 $x_3$ 和 $x_4$ 聚在一起； +- 数据点 $x_5$ 和 $x_6$ 聚在一起。 最终得到的聚类结果： -- 类1：$$\{x_1, x_2\}$$ -- 类2：$$\{x_3, x_4\}$$ -- 类3：$$\{x_5, x_6\}$$ +- 类1：$\{x_1, x_2\}$ +- 类2：$\{x_3, x_4\}$ +- 类3：$\{x_5, x_6\}$ ## **谱分解** -一个对称矩阵可以通过其特征值和特征向量进行分解。对于一个 $$n \times n$$ 的对称矩阵 $$A$$，其谱分解可以表示为： +一个对称矩阵可以通过其特征值和特征向量进行分解。对于一个 $n \times n$ 的对称矩阵 $A$，其谱分解可以表示为： $$ A = \sum_{i=1}^{n} \lambda_i x_i x_i^T $$ -其中，$$\lambda_i$$ 是矩阵 $$A$$ 的第 $$i$$ 个特征值，$$x_i$$ 是对应的特征向量。 +其中，$\lambda_i$ 是矩阵 $A$ 的第 $i$ 个特征值，$x_i$ 是对应的特征向量。 **推导过程** 1. **特征值和特征向量的定义** - 对于一个对称矩阵 $$A$$，其特征值和特征向量满足： - $$ + 对于一个对称矩阵 $A$，其特征值和特征向量满足： +$$ A x_i = \lambda_i x_i - $$ +$$ - 其中，$$\lambda_i$$ 是特征值，$$x_i$$ 是对应的特征向量。 + 其中，$\lambda_i$ 是特征值，$x_i$ 是对应的特征向量。 2. **谱分解** - 将这些特征向量组成一个正交矩阵 $$Q$$ + 将这些特征向量组成一个正交矩阵 $Q$ - $$A = Q \Lambda Q^T$$ - $$ + $A = Q \Lambda Q^T$ +$$ Q = \begin{bmatrix} x_1 & x_2 & \cdots & x_n \end{bmatrix}, - $$ +$$ - $$ +$$ Q \Lambda = \begin{bmatrix} \lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n \end{bmatrix}. - $$ +$$ - $$ +$$ Q \Lambda Q^T = \begin{bmatrix} \lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n \end{bmatrix} \begin{bmatrix} x_1^T \\ x_2^T \\ \vdots \\ x_n^T \end{bmatrix}. - $$ +$$ - $$ +$$ Q \Lambda Q^T = \lambda_1 x_1 x_1^T + \lambda_2 x_2 x_2^T + \cdots + \lambda_n x_n x_n^T. - $$ +$$ 可以写为 - $$ +$$ A = \sum_{i=1}^{n} \lambda_i x_i x_i^T. - $$ +$$ 3. **网络重构** - 在随机网络中，网络的邻接矩阵 $$A$$ 通常是对称的。利用预测算法得到的谱参数 $$\{\lambda_i, x_i\}$$ 后，就可以用以下公式重构网络矩阵： - $$ + 在随机网络中，网络的邻接矩阵 $A$ 通常是对称的。利用预测算法得到的谱参数 $\{\lambda_i, x_i\}$ 后，就可以用以下公式重构网络矩阵： +$$ A(G) = \sum_{i=1}^{n} \lambda_i x_i x_i^T - $$ +$$ diff --git a/科研/郭款论文.md b/科研/郭款论文.md index 0208aa2..6761550 100644 --- a/科研/郭款论文.md +++ b/科研/郭款论文.md @@ -93,7 +93,7 @@ $$ 2. **初始化码本** -我们希望构造一个码本矩阵 $$C$$，初始时可以从数据中随机选择两个点作为码字。假设选择 $$x_1=(1,2)$$ 和 $$x_3=(3,4)$$，则初始码本为 +我们希望构造一个码本矩阵 $C$，初始时可以从数据中随机选择两个点作为码字。假设选择 $x_1=(1,2)$ 和 $x_3=(3,4)$，则初始码本为 $$ C^{(0)}=\begin{pmatrix} @@ -108,35 +108,35 @@ $$ 对于每个数据点，计算它与各个码字之间的欧氏距离，并将其分配到距离最近的码字。下面计算各数据点到码字的距离（这里只计算距离的平方，便于比较）： -- **数据点 $$x_1=(1,2)$$：** +- **数据点 $x_1=(1,2)$：** - - 到码字 1 $$(1,2)$$ 的距离平方：$$ (1-1)^2+(2-2)^2=0 $$ - - 到码字 2 $$(3,4)$$ 的距离平方：$$ (1-3)^2+(2-4)^2=4+4=8 $$ + - 到码字 1 $(1,2)$ 的距离平方：$ (1-1)^2+(2-2)^2=0 $ + - 到码字 2 $(3,4)$ 的距离平方：$ (1-3)^2+(2-4)^2=4+4=8 $ - 分配：$$x_1$$ 属于码字 1。 + 分配：$x_1$ 属于码字 1。 -- **数据点 $$x_2=(1.2,2.1)$$：** +- **数据点 $x_2=(1.2,2.1)$：** - - 到码字 1 $$(1,2)$$ 的距离平方：$$ (1.2-1)^2+(2.1-2)^2=0.04+0.01=0.05 $$ - - 到码字 2 $$(3,4)$$ 的距离平方：$$ (1.2-3)^2+(2.1-4)^2\approx3.24+3.61=6.85 $$ + - 到码字 1 $(1,2)$ 的距离平方：$ (1.2-1)^2+(2.1-2)^2=0.04+0.01=0.05 $ + - 到码字 2 $(3,4)$ 的距离平方：$ (1.2-3)^2+(2.1-4)^2\approx3.24+3.61=6.85 $ - 分配：$$x_2$$ 属于码字 1。 + 分配：$x_2$ 属于码字 1。 -- **数据点 $$x_3=(3,4)$$：** +- **数据点 $x_3=(3,4)$：** - - 到码字 1 $$(1,2)$$ 的距离平方：$$ (3-1)^2+(4-2)^2=4+4=8 $$ - - 到码字 2 $$(3,4)$$ 的距离平方：$$ 0 $$ + - 到码字 1 $(1,2)$ 的距离平方：$ (3-1)^2+(4-2)^2=4+4=8 $ + - 到码字 2 $(3,4)$ 的距离平方：$ 0 $ - 分配：$$x_3$$ 属于码字 2。 + 分配：$x_3$ 属于码字 2。 -- **数据点 $$x_4=(2.9,3.8)$$：** +- **数据点 $x_4=(2.9,3.8)$：** - - 到码字 1 $$(1,2)$$ 的距离平方：$$ (2.9-1)^2+(3.8-2)^2\approx3.61+3.24=6.85 $$ - - 到码字 2 $$(3,4)$$ 的距离平方：$$ (2.9-3)^2+(3.8-4)^2=0.01+0.04=0.05 $$ + - 到码字 1 $(1,2)$ 的距离平方：$ (2.9-1)^2+(3.8-2)^2\approx3.61+3.24=6.85 $ + - 到码字 2 $(3,4)$ 的距离平方：$ (2.9-3)^2+(3.8-4)^2=0.01+0.04=0.05 $ - 分配：$$x_4$$ 属于码字 2。 + 分配：$x_4$ 属于码字 2。 -可以将分配结果用指示矩阵 $$Z$$ 表示，每行对应一个数据点，每列对应一个码字，若数据点分配给该码字，则对应位置为 1，否则为 0。于是 +可以将分配结果用指示矩阵 $Z$ 表示，每行对应一个数据点，每列对应一个码字，若数据点分配给该码字，则对应位置为 1，否则为 0。于是 $$ Z=\begin{pmatrix} @@ -155,10 +155,10 @@ $$ c_k = \frac{1}{|S_k|}\sum_{x\in S_k} x, $$ -其中 $$S_k$$ 表示被分配给第 $$k$$ 个码字的点的集合。 +其中 $S_k$ 表示被分配给第 $k$ 个码字的点的集合。 - 对于码字 1： - 数据点 $$x_1=(1,2)$$ 和 $$x_2=(1.2,2.1)$$， + 数据点 $x_1=(1,2)$ 和 $x_2=(1.2,2.1)$， 新码字为 $$ c_1^{(1)}=\left(\frac{1+1.2}{2},\frac{2+2.1}{2}\right) @@ -166,7 +166,7 @@ $$ $$ - 对于码字 2： - 数据点 $$x_3=(3,4)$$ 和 $$x_4=(2.9,3.8)$$， + 数据点 $x_3=(3,4)$ 和 $x_4=(2.9,3.8)$， 新码字为 $$ c_2^{(1)}=\left(\frac{3+2.9}{2},\frac{4+3.8}{2}\right) @@ -221,17 +221,17 @@ $$ 3. **更新簇中心** - - 对于某个簇 $$C_k$$，我们先将该簇中所有的数据点(除去原簇中心)都作为候选中心，即构成集合 $$P$$。 + - 对于某个簇 $C_k$，我们先将该簇中所有的数据点(除去原簇中心)都作为候选中心，即构成集合 $P$。 - - 对于集合 $$P$$ 中的每一个候选点 $$p$$，计算它与同一簇中其他所有点的距离总和： + - 对于集合 $P$ 中的每一个候选点 $p$，计算它与同一簇中其他所有点的距离总和： $$ D(p) = \sum_{q \in C_k, \, q \neq p} d(p, q) $$ - 其中 $$d(p, q)$$ 通常用欧氏距离或其他合适的距离度量表示。 + 其中 $d(p, q)$ 通常用欧氏距离或其他合适的距离度量表示。 - - 选取使 $$D(p)$$ 最小的那个候选点作为新的簇中心 $$C_k$$。 + - 选取使 $D(p)$ 最小的那个候选点作为新的簇中心 $C_k$。 时间复杂度分析：需要尝试的替换次数：$k \times (n-k)$​ 每次替换需要对所有(n)个元素重新分配并计算代价，则该阶段在一次完整迭代中的最坏情况下复杂度为