# 题型八:协方差矩阵与多元统计 ## 识别特征 - 题干涉及 $n$ 维随机向量 $(X_1, \ldots, X_n)$ 的**协方差矩阵** - 涉及**多元正态分布** $N(\boldsymbol{\mu}, \Sigma)$ - 涉及线性变换下协方差矩阵的计算 ## 解题流程 ```mermaid flowchart TD A[识别:协方差矩阵 / 多元正态] --> B{已知分布?} B -->|多元正态| C[查 N μ, Σ 直接写] B -->|一般向量| D[计算各 Cov X_i,X_j 构造 Σ] C --> E{做线性变换?} B -->|否| E D --> E E -->|是| F["Σ_Y = A Σ_X A^T"] E -->|否| G[验证半正定性等性质] ``` ## 通法步骤 ### 一、协方差矩阵的定义 对 $n$ 维随机向量 $\mathbf{X} = (X_1, X_2, \ldots, X_n)^T$,**协方差矩阵**为: $$ \Sigma = E[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T] $$ **显式形式**: $$ \Sigma = \begin{pmatrix} \text{Cov}(X_1,X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\ \text{Cov}(X_2,X_1) & \text{Cov}(X_2,X_2) & \cdots & \text{Cov}(X_2,X_n) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & \text{Cov}(X_n,X_n) \end{pmatrix} $$ **关键性质**: - 对角元素:$\Sigma_{ii} = D(X_i)$ - 对称:$\Sigma^T = \Sigma$ - **半正定**:$\mathbf{x}^T \Sigma \mathbf{x} \ge 0$($\forall \mathbf{x}$) ### 二、多元正态分布 $N(\boldsymbol{\mu}, \Sigma)$ 密度($n=2$ 情形): $$ f(x,y) = \frac{1}{2\pi \sqrt{|\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right) $$ **核心结论**: | 结论 | 公式 | |------|------| | **边缘分布** | $X_i \sim N(\mu_i, \sigma_i^2)$,其中 $\sigma_i^2 = \Sigma_{ii}$ | | **独立 ⇔ 不相关** | $\Sigma_{ij} = 0$($i \ne j$)时,$X_i, X_j$ 独立 | | **线性变换** | $A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma A^T)$ | | **条件分布** | $X_1 \| X_2 = \mathbf{x}_2 \sim N(\mu_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21})$ | ### 三、二元正态的关键公式 设 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$,则: $$ \Sigma = \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{pmatrix}, \quad |\Sigma| = \sigma_1^2 \sigma_2^2 (1-\rho^2) $$ $$ \Sigma^{-1} = \frac{1}{\sigma_1^2 \sigma_2^2 (1-\rho^2)} \begin{pmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{pmatrix} $$ ### 四、相关矩阵 **标准化协方差矩阵**(对角线为 1): $$ R = \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{21} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{n1} & \rho_{n2} & \cdots & 1 \end{pmatrix} $$ 其中 $\rho_{ij} = \text{Cov}(X_i, X_j) / \sqrt{D(X_i) D(X_j)}$。 ### 五、线性变换公式 ⭐ 设 $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$,则: $$ E(\mathbf{Y}) = A\boldsymbol{\mu} + \mathbf{b}, \quad \Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T $$ **多元正态下**: $$ \mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma_{\mathbf{X}} A^T) $$ ## 常见陷阱 - **半正定遗漏**:协方差矩阵必须半正定;任意对称半正定矩阵都是某随机向量的 $\Sigma$ - **$\Sigma$ vs $R$ 混淆**:$\Sigma$ 是协方差矩阵(含方差),$R$ 是相关矩阵(对角线为 1) - **正态假设**:独立 ⇔ 不相关的等价只在多元正态下成立 - **矩阵大小写**:$\Sigma$ 是 $n \times n$ 矩阵;$\mathbf{x}^T \Sigma \mathbf{x}$ 是标量 - **线性变换公式**:$\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T$(**不是** $A\Sigma_{\mathbf{X}} A^{-1}$!) ## 经典母题 > **题目 1**:设 $(X_1, X_2)$ 的协方差矩阵为 > $$\Sigma = \begin{pmatrix} 4 & 1 \\ 1 & 9 \end{pmatrix}$$ > > 求:(1) $D(X_1), D(X_2), \text{Cov}(X_1, X_2)$;(2) 相关系数 $\rho_{12}$;(3) $\Sigma$ 是否半正定? **解析**: **(1)** 直接读对角线和元素: - $D(X_1) = 4, D(X_2) = 9$ - $\text{Cov}(X_1, X_2) = 1$ **(2)** $\rho_{12} = \dfrac{1}{\sqrt{4 \times 9}} = \dfrac{1}{6}$ **(3)** 验证半正定:任意 $\mathbf{x} = (x_1, x_2)^T$: $$ \mathbf{x}^T \Sigma \mathbf{x} = 4x_1^2 + 2x_1 x_2 + 9x_2^2 = 3x_1^2 + (x_1+x_2)^2 + 5x_2^2 \ge 0 $$ 或计算特征值:$\det(\Sigma - \lambda I) = (4-\lambda)(9-\lambda) - 1 = \lambda^2 - 13\lambda + 35 = 0$ $$ \lambda = \frac{13 \pm \sqrt{169 - 140}}{2} = \frac{13 \pm \sqrt{29}}{2} \approx 11.19, 1.81 > 0 $$ **结论**:特征值都 $>0$ → $\Sigma$ 正定(半正定的加强)。 **复盘**:验证半正定 = 所有特征值 $\ge 0$ 或主子式都 $\ge 0$。 --- > **题目 2**:设 $(X_1, X_2)^T \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$。求 $Y_1 = X_1 + X_2, Y_2 = X_1 - X_2$ 的协方差矩阵。 **解析**: 线性变换 $\mathbf{Y} = A\mathbf{X}$,其中 $A = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$ $$ \Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} $$ **计算**: - $A\Sigma = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix}$ - $\Sigma_{\mathbf{Y}} = A\Sigma A^T = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2+2\rho & 0 \\ 0 & 2-2\rho \end{pmatrix}$ **结论**:$\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2(1+\rho) & 0 \\ 0 & 2(1-\rho) \end{pmatrix}$ $\text{Cov}(Y_1, Y_2) = 0$ ⇒ $Y_1, Y_2$ 不相关;多元正态下 ⇒ **独立**! **复盘**:当 $\rho = 0$ 时 $\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$ → $Y_1, Y_2$ 独立。 --- > **题目 3**:设 $\mathbf{X} = (X_1, X_2, X_3)^T$ 的协方差矩阵为 > $$\Sigma = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 1 & 2 \end{pmatrix}$$ > > 求 $X_1$ 与 $(X_2 + X_3)$ 的协方差。 **解析**: $$ \text{Cov}(X_1, X_2 + X_3) = \text{Cov}(X_1, X_2) + \text{Cov}(X_1, X_3) = 0 + 0 = 0 $$ **复盘**:协方差的线性(分配律)。 --- > **题目 4**:设 $\mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \sigma^2 I$(球对称)。证明 $\mathbf{X}$ 的各分量独立。 **解析**: $\Sigma = \sigma^2 I$ 是对角矩阵 ⇒ $\text{Cov}(X_i, X_j) = 0$($i \ne j$)⇒ 不相关。 多元正态下:独立 ⇔ 不相关 ⇒ $X_1, X_2, \ldots, X_n$ 相互独立。 **复盘**:球对称多元正态 $\Rightarrow$ 各分量独立。 --- > **变式 1**:$(X,Y) \sim N(0, 0, 1, 1, 0.5)$。求 $\Sigma$ 和 $D(X+Y)$。 > > **解**:$\Sigma = \begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}$;$D(X+Y) = 1 + 1 + 2 \times 0.5 = 3$。 > **变式 2**:$\mathbf{X} \sim N(\mathbf{0}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & 2 \\ 2 & 9 \end{pmatrix}$。$\Sigma$ 是合法协方差矩阵吗? > > **解**:特征值 $\lambda^2 - 10\lambda + 5 = 0 \Rightarrow \lambda = 5 \pm \sqrt{20} > 0$ → 半正定 → 合法。 --- > **口诀速记**: > - "**$\Sigma$ = 对称 + 半正定**" > - "**$\Sigma_{ii} = D(X_i)$**" > - "**线性变换**:$\Sigma_{\mathbf{Y}} = A\Sigma A^T$" > - "**多元正态**:独立 ⇔ 不相关 ⇔ $\Sigma$ 对角" > - "**球对称** $\Sigma = \sigma^2 I$ ⇒ 各分量独立"