82 lines
3.1 KiB
Markdown
82 lines
3.1 KiB
Markdown
### 协方差矩阵（Covariance Matrix）
|
||
|
||
**协方差矩阵** 是一个方阵，用来描述一组随机变量之间的协方差关系。它是多元统计分析中的重要工具，尤其在处理多维数据时，协方差矩阵提供了所有变量之间的协方差信息。
|
||
|
||
对于一个随机向量 $\mathbf{X} = [X_1, X_2, \dots, X_n]^T$，其中 $X_1, X_2, \dots, X_n$ 是 $n$ 个随机变量，协方差矩阵 $\Sigma$ 是一个 $n \times n$ 的矩阵，其元素表示不同随机变量之间的协方差。
|
||
|
||
### 协方差矩阵的定义
|
||
|
||
协方差矩阵的元素是通过计算每对随机变量之间的协方差来获得的。协方差矩阵 $\Sigma$ 的元素可以表示为：
|
||
|
||
$$
|
||
\Sigma = \begin{bmatrix}
|
||
\text{Cov}(X_1, X_1) & \text{Cov}(X_1, X_2) & \dots & \text{Cov}(X_1, X_n) \\
|
||
\text{Cov}(X_2, X_1) & \text{Cov}(X_2, X_2) & \dots & \text{Cov}(X_2, X_n) \\
|
||
\vdots & \vdots & \ddots & \vdots \\
|
||
\text{Cov}(X_n, X_1) & \text{Cov}(X_n, X_2) & \dots & \text{Cov}(X_n, X_n) \\
|
||
\end{bmatrix}
|
||
$$
|
||
|
||
其中：
|
||
|
||
- 对角线上的元素 $\text{Cov}(X_i, X_i)$ 是每个变量的方差，即 $\text{Var}(X_i)$，
|
||
- 非对角线上的元素 $\text{Cov}(X_i, X_j)$ 是变量 $X_i$ 和 $X_j$ 之间的协方差。
|
||
|
||
### 协方差矩阵和协方差的关系
|
||
|
||
协方差矩阵是多维协方差的扩展。对于一个二维随机变量 $\mathbf{X} = [X_1, X_2]^T$，它的协方差矩阵就是一个 $2 \times 2$ 的矩阵：
|
||
|
||
$$
|
||
\Sigma = \begin{bmatrix}
|
||
\text{Var}(X_1) & \text{Cov}(X_1, X_2) \\
|
||
\text{Cov}(X_1, X_2) & \text{Var}(X_2)
|
||
\end{bmatrix}
|
||
$$
|
||
|
||
所以，协方差矩阵包含了每一对变量之间的协方差信息。如果你有多个随机变量，协方差矩阵将为你提供这些变量之间的所有协方差。
|
||
|
||
### 举个例子
|
||
|
||
假设我们有两个随机变量 $X$ 和 $Y$，它们的样本数据如下：
|
||
|
||
- $X = [4, 7, 8, 5, 6]$
|
||
- $Y = [2, 3, 6, 7, 4]$
|
||
|
||
我们首先计算每个变量的均值、方差和协方差，然后将这些信息组织成协方差矩阵。
|
||
|
||
步骤1：计算均值
|
||
|
||
- $\mu_X = \frac{4 + 7 + 8 + 5 + 6}{5} = 6$
|
||
- $\mu_Y = \frac{2 + 3 + 6 + 7 + 4}{5} = 4.4$
|
||
|
||
步骤2：计算方差
|
||
|
||
- $\text{Var}(X) = \frac{1}{5} \left[(4-6)^2 + (7-6)^2 + (8-6)^2 + (5-6)^2 + (6-6)^2\right] = 2$
|
||
- $\text{Var}(Y) = \frac{1}{5} \left[(2-4.4)^2 + (3-4.4)^2 + (6-4.4)^2 + (7-4.4)^2 + (4-4.4)^2\right] = 2.64$
|
||
|
||
步骤3：计算协方差
|
||
$$
|
||
\text{Cov}(X, Y) = \frac{1}{5} \left[(4-6)(2-4.4) + (7-6)(3-4.4) + (8-6)(6-4.4) + (5-6)(7-4.4) + (6-6)(4-4.4)\right]
|
||
$$
|
||
|
||
我们已经在前面计算过，协方差 $\text{Cov}(X, Y) = 4$。
|
||
|
||
步骤4：构建协方差矩阵
|
||
|
||
根据以上结果，协方差矩阵 $\Sigma$ 是：
|
||
|
||
$$
|
||
\Sigma = \begin{bmatrix}
|
||
\text{Var}(X) & \text{Cov}(X, Y) \\
|
||
\text{Cov}(X, Y) & \text{Var}(Y)
|
||
\end{bmatrix}
|
||
= \begin{bmatrix}
|
||
2 & 4 \\
|
||
4 & 2.64
|
||
\end{bmatrix}
|
||
$$
|
||
|
||
### 总结
|
||
|
||
协方差矩阵是用于描述多个随机变量之间协方差关系的矩阵，它是协方差的自然扩展。当你有多个变量时，协方差矩阵包含了所有变量之间的协方差及每个变量的方差信息。在二维情况中，协方差矩阵是一个 $2 \times 2$ 矩阵，在多维情况下，它是一个 $n \times n$ 矩阵，其中 $n$ 是变量的个数。
|