7.3 KiB
题型八:协方差矩阵与多元统计
识别特征
- 题干涉及
n维随机向量(X_1, \ldots, X_n)的协方差矩阵 - 涉及多元正态分布
N(\boldsymbol{\mu}, \Sigma) - 涉及线性变换下协方差矩阵的计算
解题流程
flowchart TD
A[识别:协方差矩阵 / 多元正态] --> B{已知分布?}
B -->|多元正态| C[查 N μ, Σ 直接写]
B -->|一般向量| D[计算各 Cov X_i,X_j 构造 Σ]
C --> E{做线性变换?}
B -->|否| E
D --> E
E -->|是| F["Σ_Y = A Σ_X A^T"]
E -->|否| G[验证半正定性等性质]
通法步骤
一、协方差矩阵的定义
对 n 维随机向量 $\mathbf{X} = (X_1, X_2, \ldots, X_n)^T$,协方差矩阵为:
\Sigma = E[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T]
显式形式:
\Sigma =
\begin{pmatrix}
\text{Cov}(X_1,X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\
\text{Cov}(X_2,X_1) & \text{Cov}(X_2,X_2) & \cdots & \text{Cov}(X_2,X_n) \\
\vdots & \vdots & \ddots & \vdots \\
\text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & \text{Cov}(X_n,X_n)
\end{pmatrix}
关键性质:
- 对角元素:
\Sigma_{ii} = D(X_i) - 对称:
\Sigma^T = \Sigma - 半正定:$\mathbf{x}^T \Sigma \mathbf{x} \ge 0$($\forall \mathbf{x}$)
二、多元正态分布 N(\boldsymbol{\mu}, \Sigma)
密度(n=2 情形):
f(x,y) = \frac{1}{2\pi \sqrt{|\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)
核心结论:
| 结论 | 公式 |
|---|---|
| 边缘分布 | $X_i \sim N(\mu_i, \sigma_i^2)$,其中 \sigma_i^2 = \Sigma_{ii} |
| 独立 ⇔ 不相关 | $\Sigma_{ij} = 0$($i \ne j$)时,X_i, X_j 独立 |
| 线性变换 | A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma A^T) |
| 条件分布 | X_1 \| X_2 = \mathbf{x}_2 \sim N(\mu_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}) |
三、二元正态的关键公式
设 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$,则:
\Sigma = \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{pmatrix}, \quad |\Sigma| = \sigma_1^2 \sigma_2^2 (1-\rho^2)
\Sigma^{-1} = \frac{1}{\sigma_1^2 \sigma_2^2 (1-\rho^2)} \begin{pmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{pmatrix}
四、相关矩阵
标准化协方差矩阵(对角线为 1):
R = \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{21} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{n1} & \rho_{n2} & \cdots & 1 \end{pmatrix}
其中 $\rho_{ij} = \text{Cov}(X_i, X_j) / \sqrt{D(X_i) D(X_j)}$。
五、线性变换公式 ⭐
设 $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$,则:
E(\mathbf{Y}) = A\boldsymbol{\mu} + \mathbf{b}, \quad \Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T
多元正态下:
\mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma_{\mathbf{X}} A^T)
常见陷阱
- 半正定遗漏:协方差矩阵必须半正定;任意对称半正定矩阵都是某随机向量的
\Sigma \SigmavsR混淆:\Sigma是协方差矩阵(含方差),R是相关矩阵(对角线为 1)- 正态假设:独立 ⇔ 不相关的等价只在多元正态下成立
- 矩阵大小写:
\Sigma是n \times n矩阵;\mathbf{x}^T \Sigma \mathbf{x}是标量 - 线性变换公式:$\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T$(不是 $A\Sigma_{\mathbf{X}} A^{-1}$!)
经典母题
题目 1:设
(X_1, X_2)的协方差矩阵为\Sigma = \begin{pmatrix} 4 & 1 \\ 1 & 9 \end{pmatrix}求:(1) $D(X_1), D(X_2), \text{Cov}(X_1, X_2)$;(2) 相关系数 $\rho_{12}$;(3)
\Sigma是否半正定?
解析:
(1) 直接读对角线和元素:
D(X_1) = 4, D(X_2) = 9\text{Cov}(X_1, X_2) = 1
(2) \rho_{12} = \dfrac{1}{\sqrt{4 \times 9}} = \dfrac{1}{6}
(3) 验证半正定:任意 $\mathbf{x} = (x_1, x_2)^T$:
\mathbf{x}^T \Sigma \mathbf{x} = 4x_1^2 + 2x_1 x_2 + 9x_2^2 = 3x_1^2 + (x_1+x_2)^2 + 5x_2^2 \ge 0
或计算特征值:\det(\Sigma - \lambda I) = (4-\lambda)(9-\lambda) - 1 = \lambda^2 - 13\lambda + 35 = 0
\lambda = \frac{13 \pm \sqrt{169 - 140}}{2} = \frac{13 \pm \sqrt{29}}{2} \approx 11.19, 1.81 > 0
结论:特征值都 >0 → \Sigma 正定(半正定的加强)。
复盘:验证半正定 = 所有特征值 \ge 0 或主子式都 $\ge 0$。
题目 2:设 $(X_1, X_2)^T \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & \rho \ \rho & 1 \end{pmatrix}$。求
Y_1 = X_1 + X_2, Y_2 = X_1 - X_2的协方差矩阵。
解析:
线性变换 $\mathbf{Y} = A\mathbf{X}$,其中 A = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}
\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}
计算:
A\Sigma = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix}\Sigma_{\mathbf{Y}} = A\Sigma A^T = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2+2\rho & 0 \\ 0 & 2-2\rho \end{pmatrix}
结论:\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2(1+\rho) & 0 \\ 0 & 2(1-\rho) \end{pmatrix}
\text{Cov}(Y_1, Y_2) = 0 ⇒ Y_1, Y_2 不相关;多元正态下 ⇒ 独立!
复盘:当 \rho = 0 时 \Sigma_{\mathbf{Y}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} → Y_1, Y_2 独立。
题目 3:设
\mathbf{X} = (X_1, X_2, X_3)^T的协方差矩阵为\Sigma = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 1 & 2 \end{pmatrix}求
X_1与(X_2 + X_3)的协方差。
解析:
\text{Cov}(X_1, X_2 + X_3) = \text{Cov}(X_1, X_2) + \text{Cov}(X_1, X_3) = 0 + 0 = 0
复盘:协方差的线性(分配律)。
题目 4:设 $\mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \sigma^2 I$(球对称)。证明
\mathbf{X}的各分量独立。
解析:
\Sigma = \sigma^2 I 是对角矩阵 ⇒ $\text{Cov}(X_i, X_j) = 0$($i \ne j$)⇒ 不相关。
多元正态下:独立 ⇔ 不相关 ⇒ X_1, X_2, \ldots, X_n 相互独立。
复盘:球对称多元正态 \Rightarrow 各分量独立。
变式 1:$(X,Y) \sim N(0, 0, 1, 1, 0.5)$。求
\Sigma和 $D(X+Y)$。解:$\Sigma = \begin{pmatrix} 1 & 0.5 \ 0.5 & 1 \end{pmatrix}$;$D(X+Y) = 1 + 1 + 2 \times 0.5 = 3$。
变式 2:$\mathbf{X} \sim N(\mathbf{0}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & 2 \ 2 & 9 \end{pmatrix}$。
\Sigma是合法协方差矩阵吗?解:特征值
\lambda^2 - 10\lambda + 5 = 0 \Rightarrow \lambda = 5 \pm \sqrt{20} > 0→ 半正定 → 合法。
口诀速记:
- "
\Sigma= 对称 + 半正定"- "$\Sigma_{ii} = D(X_i)$"
- "线性变换:$\Sigma_{\mathbf{Y}} = A\Sigma A^T$"
- "多元正态:独立 ⇔ 不相关 ⇔
\Sigma对角"- "球对称
\Sigma = \sigma^2 I⇒ 各分量独立"