Files
2026-10-04 11:44:56 +08:00

7.3 KiB
Raw Permalink Blame History

题型八:协方差矩阵与多元统计

识别特征

  • 题干涉及 n 维随机向量 (X_1, \ldots, X_n) 的协方差矩阵
  • 涉及多元正态分布 N(\boldsymbol{\mu}, \Sigma)
  • 涉及线性变换下协方差矩阵的计算

解题流程

flowchart TD
    A[识别:协方差矩阵 / 多元正态] --> B{已知分布?}
    B -->|多元正态| C[查 N μ, Σ 直接写]
    B -->|一般向量| D[计算各 Cov X_i,X_j 构造 Σ]
    C --> E{做线性变换?}
    B -->|否| E
    D --> E
    E -->|是| F["Σ_Y = A Σ_X A^T"]
    E -->|否| G[验证半正定性等性质]

通法步骤

一、协方差矩阵的定义

对 n 维随机向量 $\mathbf{X} = (X_1, X_2, \ldots, X_n)^T$,协方差矩阵为:


\Sigma = E[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T]

显式形式:


\Sigma = 
\begin{pmatrix}
\text{Cov}(X_1,X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\
\text{Cov}(X_2,X_1) & \text{Cov}(X_2,X_2) & \cdots & \text{Cov}(X_2,X_n) \\
\vdots & \vdots & \ddots & \vdots \\
\text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & \text{Cov}(X_n,X_n)
\end{pmatrix}

关键性质:

  • 对角元素:\Sigma_{ii} = D(X_i)
  • 对称:\Sigma^T = \Sigma
  • 半正定:$\mathbf{x}^T \Sigma \mathbf{x} \ge 0$($\forall \mathbf{x}$)

二、多元正态分布 N(\boldsymbol{\mu}, \Sigma)

密度(n=2 情形):


f(x,y) = \frac{1}{2\pi \sqrt{|\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)

核心结论:

结论 公式
边缘分布 $X_i \sim N(\mu_i, \sigma_i^2)$,其中 \sigma_i^2 = \Sigma_{ii}
独立 ⇔ 不相关 $\Sigma_{ij} = 0$($i \ne j$)时,X_i, X_j 独立
线性变换 A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma A^T)
条件分布 X_1 \| X_2 = \mathbf{x}_2 \sim N(\mu_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21})

三、二元正态的关键公式

设 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$,则:


\Sigma = \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{pmatrix}, \quad |\Sigma| = \sigma_1^2 \sigma_2^2 (1-\rho^2)

\Sigma^{-1} = \frac{1}{\sigma_1^2 \sigma_2^2 (1-\rho^2)} \begin{pmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{pmatrix}

四、相关矩阵

标准化协方差矩阵(对角线为 1):


R = \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{21} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{n1} & \rho_{n2} & \cdots & 1 \end{pmatrix}

其中 $\rho_{ij} = \text{Cov}(X_i, X_j) / \sqrt{D(X_i) D(X_j)}$。

五、线性变换公式 ⭐

设 $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$,则:


E(\mathbf{Y}) = A\boldsymbol{\mu} + \mathbf{b}, \quad \Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T

多元正态下:


\mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma_{\mathbf{X}} A^T)

常见陷阱

  • 半正定遗漏:协方差矩阵必须半正定;任意对称半正定矩阵都是某随机向量的 \Sigma
  • \Sigma vs R 混淆:\Sigma 是协方差矩阵(含方差),R 是相关矩阵(对角线为 1)
  • 正态假设:独立 ⇔ 不相关的等价只在多元正态下成立
  • 矩阵大小写:\Sigma 是 n \times n 矩阵;\mathbf{x}^T \Sigma \mathbf{x} 是标量
  • 线性变换公式:$\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T$(不是 $A\Sigma_{\mathbf{X}} A^{-1}$!)

经典母题

题目 1:设 (X_1, X_2) 的协方差矩阵为

\Sigma = \begin{pmatrix} 4 & 1 \\ 1 & 9 \end{pmatrix}

求:(1) $D(X_1), D(X_2), \text{Cov}(X_1, X_2)$;(2) 相关系数 $\rho_{12}$;(3) \Sigma 是否半正定?

解析:

(1) 直接读对角线和元素:

  • D(X_1) = 4, D(X_2) = 9
  • \text{Cov}(X_1, X_2) = 1

(2) \rho_{12} = \dfrac{1}{\sqrt{4 \times 9}} = \dfrac{1}{6}

(3) 验证半正定:任意 $\mathbf{x} = (x_1, x_2)^T$:


\mathbf{x}^T \Sigma \mathbf{x} = 4x_1^2 + 2x_1 x_2 + 9x_2^2 = 3x_1^2 + (x_1+x_2)^2 + 5x_2^2 \ge 0

或计算特征值:\det(\Sigma - \lambda I) = (4-\lambda)(9-\lambda) - 1 = \lambda^2 - 13\lambda + 35 = 0


\lambda = \frac{13 \pm \sqrt{169 - 140}}{2} = \frac{13 \pm \sqrt{29}}{2} \approx 11.19, 1.81 > 0

结论:特征值都 >0 → \Sigma 正定(半正定的加强)。

复盘:验证半正定 = 所有特征值 \ge 0 或主子式都 $\ge 0$。


题目 2:设 $(X_1, X_2)^T \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & \rho \ \rho & 1 \end{pmatrix}$。求 Y_1 = X_1 + X_2, Y_2 = X_1 - X_2 的协方差矩阵。

解析:

线性变换 $\mathbf{Y} = A\mathbf{X}$,其中 A = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}


\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}

计算:

  • A\Sigma = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix}
  • \Sigma_{\mathbf{Y}} = A\Sigma A^T = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2+2\rho & 0 \\ 0 & 2-2\rho \end{pmatrix}

结论:\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2(1+\rho) & 0 \\ 0 & 2(1-\rho) \end{pmatrix}

\text{Cov}(Y_1, Y_2) = 0 ⇒ Y_1, Y_2 不相关;多元正态下 ⇒ 独立!

复盘:当 \rho = 0 时 \Sigma_{\mathbf{Y}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} → Y_1, Y_2 独立。


题目 3:设 \mathbf{X} = (X_1, X_2, X_3)^T 的协方差矩阵为

\Sigma = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 1 & 2 \end{pmatrix}

求 X_1 与 (X_2 + X_3) 的协方差。

解析:


\text{Cov}(X_1, X_2 + X_3) = \text{Cov}(X_1, X_2) + \text{Cov}(X_1, X_3) = 0 + 0 = 0

复盘:协方差的线性(分配律)。


题目 4:设 $\mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \sigma^2 I$(球对称)。证明 \mathbf{X} 的各分量独立。

解析:

\Sigma = \sigma^2 I 是对角矩阵 ⇒ $\text{Cov}(X_i, X_j) = 0$($i \ne j$)⇒ 不相关。

多元正态下:独立 ⇔ 不相关 ⇒ X_1, X_2, \ldots, X_n 相互独立。

复盘:球对称多元正态 \Rightarrow 各分量独立。


变式 1:$(X,Y) \sim N(0, 0, 1, 1, 0.5)$。求 \Sigma 和 $D(X+Y)$。

解:$\Sigma = \begin{pmatrix} 1 & 0.5 \ 0.5 & 1 \end{pmatrix}$;$D(X+Y) = 1 + 1 + 2 \times 0.5 = 3$。

变式 2:$\mathbf{X} \sim N(\mathbf{0}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & 2 \ 2 & 9 \end{pmatrix}$。\Sigma 是合法协方差矩阵吗?

解:特征值 \lambda^2 - 10\lambda + 5 = 0 \Rightarrow \lambda = 5 \pm \sqrt{20} > 0 → 半正定 → 合法。


口诀速记:

  • "\Sigma = 对称 + 半正定"
  • "$\Sigma_{ii} = D(X_i)$"
  • "线性变换:$\Sigma_{\mathbf{Y}} = A\Sigma A^T$"
  • "多元正态:独立 ⇔ 不相关 ⇔ \Sigma 对角"
  • "球对称 \Sigma = \sigma^2 I ⇒ 各分量独立"