2025-03-30 20:47:00 +08:00
|
|
|
|
### 协方差矩阵(Covariance Matrix)
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
**协方差矩阵** 是一个方阵,用来描述一组随机变量之间的协方差关系。它是多元统计分析中的重要工具,尤其在处理多维数据时,协方差矩阵提供了所有变量之间的协方差信息。
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
对于一个随机向量 $\mathbf{X} = [X_1, X_2, \dots, X_n]^T$,其中 $X_1, X_2, \dots, X_n$ 是 $n$ 个随机变量,协方差矩阵 $\Sigma$ 是一个 $n \times n$ 的矩阵,其元素表示不同随机变量之间的协方差。
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
### 协方差矩阵的定义
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
协方差矩阵的元素是通过计算每对随机变量之间的协方差来获得的。协方差矩阵 $\Sigma$ 的元素可以表示为:
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
|
|
|
|
$$
|
2025-03-30 20:47:00 +08:00
|
|
|
|
\Sigma = \begin{bmatrix}
|
|
|
|
|
\text{Cov}(X_1, X_1) & \text{Cov}(X_1, X_2) & \dots & \text{Cov}(X_1, X_n) \\
|
|
|
|
|
\text{Cov}(X_2, X_1) & \text{Cov}(X_2, X_2) & \dots & \text{Cov}(X_2, X_n) \\
|
|
|
|
|
\vdots & \vdots & \ddots & \vdots \\
|
|
|
|
|
\text{Cov}(X_n, X_1) & \text{Cov}(X_n, X_2) & \dots & \text{Cov}(X_n, X_n) \\
|
|
|
|
|
\end{bmatrix}
|
2025-03-23 16:39:22 +08:00
|
|
|
|
$$
|
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
其中:
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
- 对角线上的元素 $\text{Cov}(X_i, X_i)$ 是每个变量的方差,即 $\text{Var}(X_i)$,
|
|
|
|
|
- 非对角线上的元素 $\text{Cov}(X_i, X_j)$ 是变量 $X_i$ 和 $X_j$ 之间的协方差。
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
### 协方差矩阵和协方差的关系
|
|
|
|
|
|
|
|
|
|
协方差矩阵是多维协方差的扩展。对于一个二维随机变量 $\mathbf{X} = [X_1, X_2]^T$,它的协方差矩阵就是一个 $2 \times 2$ 的矩阵:
|
|
|
|
|
|
|
|
|
|
$$
|
|
|
|
|
\Sigma = \begin{bmatrix}
|
|
|
|
|
\text{Var}(X_1) & \text{Cov}(X_1, X_2) \\
|
|
|
|
|
\text{Cov}(X_1, X_2) & \text{Var}(X_2)
|
|
|
|
|
\end{bmatrix}
|
|
|
|
|
$$
|
|
|
|
|
|
|
|
|
|
所以,协方差矩阵包含了每一对变量之间的协方差信息。如果你有多个随机变量,协方差矩阵将为你提供这些变量之间的所有协方差。
|
|
|
|
|
|
|
|
|
|
### 举个例子
|
|
|
|
|
|
|
|
|
|
假设我们有两个随机变量 $X$ 和 $Y$,它们的样本数据如下:
|
|
|
|
|
|
|
|
|
|
- $X = [4, 7, 8, 5, 6]$
|
|
|
|
|
- $Y = [2, 3, 6, 7, 4]$
|
|
|
|
|
|
|
|
|
|
我们首先计算每个变量的均值、方差和协方差,然后将这些信息组织成协方差矩阵。
|
|
|
|
|
|
|
|
|
|
步骤1:计算均值
|
|
|
|
|
|
|
|
|
|
- $\mu_X = \frac{4 + 7 + 8 + 5 + 6}{5} = 6$
|
|
|
|
|
- $\mu_Y = \frac{2 + 3 + 6 + 7 + 4}{5} = 4.4$
|
|
|
|
|
|
|
|
|
|
步骤2:计算方差
|
|
|
|
|
|
|
|
|
|
- $\text{Var}(X) = \frac{1}{5} \left[(4-6)^2 + (7-6)^2 + (8-6)^2 + (5-6)^2 + (6-6)^2\right] = 2$
|
|
|
|
|
- $\text{Var}(Y) = \frac{1}{5} \left[(2-4.4)^2 + (3-4.4)^2 + (6-4.4)^2 + (7-4.4)^2 + (4-4.4)^2\right] = 2.64$
|
|
|
|
|
|
|
|
|
|
步骤3:计算协方差
|
2025-03-23 16:39:22 +08:00
|
|
|
|
$$
|
2025-03-30 20:47:00 +08:00
|
|
|
|
\text{Cov}(X, Y) = \frac{1}{5} \left[(4-6)(2-4.4) + (7-6)(3-4.4) + (8-6)(6-4.4) + (5-6)(7-4.4) + (6-6)(4-4.4)\right]
|
2025-03-23 16:39:22 +08:00
|
|
|
|
$$
|
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
我们已经在前面计算过,协方差 $\text{Cov}(X, Y) = 4$。
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
步骤4:构建协方差矩阵
|
|
|
|
|
|
|
|
|
|
根据以上结果,协方差矩阵 $\Sigma$ 是:
|
|
|
|
|
|
|
|
|
|
$$
|
|
|
|
|
\Sigma = \begin{bmatrix}
|
|
|
|
|
\text{Var}(X) & \text{Cov}(X, Y) \\
|
|
|
|
|
\text{Cov}(X, Y) & \text{Var}(Y)
|
|
|
|
|
\end{bmatrix}
|
|
|
|
|
= \begin{bmatrix}
|
|
|
|
|
2 & 4 \\
|
|
|
|
|
4 & 2.64
|
|
|
|
|
\end{bmatrix}
|
|
|
|
|
$$
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
### 总结
|
2025-03-23 16:39:22 +08:00
|
|
|
|
|
2025-03-30 20:47:00 +08:00
|
|
|
|
协方差矩阵是用于描述多个随机变量之间协方差关系的矩阵,它是协方差的自然扩展。当你有多个变量时,协方差矩阵包含了所有变量之间的协方差及每个变量的方差信息。在二维情况中,协方差矩阵是一个 $2 \times 2$ 矩阵,在多维情况下,它是一个 $n \times n$ 矩阵,其中 $n$ 是变量的个数。
|