200 lines
7.3 KiB
Markdown
200 lines
7.3 KiB
Markdown
# 题型八:协方差矩阵与多元统计
|
||
|
||
## 识别特征
|
||
|
||
- 题干涉及 $n$ 维随机向量 $(X_1, \ldots, X_n)$ 的**协方差矩阵**
|
||
- 涉及**多元正态分布** $N(\boldsymbol{\mu}, \Sigma)$
|
||
- 涉及线性变换下协方差矩阵的计算
|
||
|
||
## 解题流程
|
||
|
||
```mermaid
|
||
flowchart TD
|
||
A[识别:协方差矩阵 / 多元正态] --> B{已知分布?}
|
||
B -->|多元正态| C[查 N μ, Σ 直接写]
|
||
B -->|一般向量| D[计算各 Cov X_i,X_j 构造 Σ]
|
||
C --> E{做线性变换?}
|
||
B -->|否| E
|
||
D --> E
|
||
E -->|是| F["Σ_Y = A Σ_X A^T"]
|
||
E -->|否| G[验证半正定性等性质]
|
||
```
|
||
|
||
## 通法步骤
|
||
|
||
### 一、协方差矩阵的定义
|
||
|
||
对 $n$ 维随机向量 $\mathbf{X} = (X_1, X_2, \ldots, X_n)^T$,**协方差矩阵**为:
|
||
$$
|
||
\Sigma = E[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T]
|
||
$$
|
||
|
||
**显式形式**:
|
||
$$
|
||
\Sigma =
|
||
\begin{pmatrix}
|
||
\text{Cov}(X_1,X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\
|
||
\text{Cov}(X_2,X_1) & \text{Cov}(X_2,X_2) & \cdots & \text{Cov}(X_2,X_n) \\
|
||
\vdots & \vdots & \ddots & \vdots \\
|
||
\text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & \text{Cov}(X_n,X_n)
|
||
\end{pmatrix}
|
||
$$
|
||
|
||
**关键性质**:
|
||
- 对角元素:$\Sigma_{ii} = D(X_i)$
|
||
- 对称:$\Sigma^T = \Sigma$
|
||
- **半正定**:$\mathbf{x}^T \Sigma \mathbf{x} \ge 0$($\forall \mathbf{x}$)
|
||
|
||
### 二、多元正态分布 $N(\boldsymbol{\mu}, \Sigma)$
|
||
|
||
密度($n=2$ 情形):
|
||
$$
|
||
f(x,y) = \frac{1}{2\pi \sqrt{|\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)
|
||
$$
|
||
|
||
**核心结论**:
|
||
|
||
| 结论 | 公式 |
|
||
|------|------|
|
||
| **边缘分布** | $X_i \sim N(\mu_i, \sigma_i^2)$,其中 $\sigma_i^2 = \Sigma_{ii}$ |
|
||
| **独立 ⇔ 不相关** | $\Sigma_{ij} = 0$($i \ne j$)时,$X_i, X_j$ 独立 |
|
||
| **线性变换** | $A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma A^T)$ |
|
||
| **条件分布** | $X_1 \| X_2 = \mathbf{x}_2 \sim N(\mu_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21})$ |
|
||
|
||
### 三、二元正态的关键公式
|
||
|
||
设 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$,则:
|
||
|
||
$$
|
||
\Sigma = \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{pmatrix}, \quad |\Sigma| = \sigma_1^2 \sigma_2^2 (1-\rho^2)
|
||
$$
|
||
|
||
$$
|
||
\Sigma^{-1} = \frac{1}{\sigma_1^2 \sigma_2^2 (1-\rho^2)} \begin{pmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{pmatrix}
|
||
$$
|
||
|
||
### 四、相关矩阵
|
||
|
||
**标准化协方差矩阵**(对角线为 1):
|
||
$$
|
||
R = \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{21} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{n1} & \rho_{n2} & \cdots & 1 \end{pmatrix}
|
||
$$
|
||
|
||
其中 $\rho_{ij} = \text{Cov}(X_i, X_j) / \sqrt{D(X_i) D(X_j)}$。
|
||
|
||
### 五、线性变换公式 ⭐
|
||
|
||
设 $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$,则:
|
||
$$
|
||
E(\mathbf{Y}) = A\boldsymbol{\mu} + \mathbf{b}, \quad \Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T
|
||
$$
|
||
|
||
**多元正态下**:
|
||
$$
|
||
\mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma_{\mathbf{X}} A^T)
|
||
$$
|
||
|
||
## 常见陷阱
|
||
|
||
- **半正定遗漏**:协方差矩阵必须半正定;任意对称半正定矩阵都是某随机向量的 $\Sigma$
|
||
- **$\Sigma$ vs $R$ 混淆**:$\Sigma$ 是协方差矩阵(含方差),$R$ 是相关矩阵(对角线为 1)
|
||
- **正态假设**:独立 ⇔ 不相关的等价只在多元正态下成立
|
||
- **矩阵大小写**:$\Sigma$ 是 $n \times n$ 矩阵;$\mathbf{x}^T \Sigma \mathbf{x}$ 是标量
|
||
- **线性变换公式**:$\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T$(**不是** $A\Sigma_{\mathbf{X}} A^{-1}$!)
|
||
|
||
## 经典母题
|
||
|
||
> **题目 1**:设 $(X_1, X_2)$ 的协方差矩阵为
|
||
> $$\Sigma = \begin{pmatrix} 4 & 1 \\ 1 & 9 \end{pmatrix}$$
|
||
>
|
||
> 求:(1) $D(X_1), D(X_2), \text{Cov}(X_1, X_2)$;(2) 相关系数 $\rho_{12}$;(3) $\Sigma$ 是否半正定?
|
||
|
||
**解析**:
|
||
|
||
**(1)** 直接读对角线和元素:
|
||
- $D(X_1) = 4, D(X_2) = 9$
|
||
- $\text{Cov}(X_1, X_2) = 1$
|
||
|
||
**(2)** $\rho_{12} = \dfrac{1}{\sqrt{4 \times 9}} = \dfrac{1}{6}$
|
||
|
||
**(3)** 验证半正定:任意 $\mathbf{x} = (x_1, x_2)^T$:
|
||
$$
|
||
\mathbf{x}^T \Sigma \mathbf{x} = 4x_1^2 + 2x_1 x_2 + 9x_2^2 = 3x_1^2 + (x_1+x_2)^2 + 5x_2^2 \ge 0
|
||
$$
|
||
|
||
或计算特征值:$\det(\Sigma - \lambda I) = (4-\lambda)(9-\lambda) - 1 = \lambda^2 - 13\lambda + 35 = 0$
|
||
$$
|
||
\lambda = \frac{13 \pm \sqrt{169 - 140}}{2} = \frac{13 \pm \sqrt{29}}{2} \approx 11.19, 1.81 > 0
|
||
$$
|
||
|
||
**结论**:特征值都 $>0$ → $\Sigma$ 正定(半正定的加强)。
|
||
|
||
**复盘**:验证半正定 = 所有特征值 $\ge 0$ 或主子式都 $\ge 0$。
|
||
|
||
---
|
||
|
||
> **题目 2**:设 $(X_1, X_2)^T \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$。求 $Y_1 = X_1 + X_2, Y_2 = X_1 - X_2$ 的协方差矩阵。
|
||
|
||
**解析**:
|
||
|
||
线性变换 $\mathbf{Y} = A\mathbf{X}$,其中 $A = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$
|
||
|
||
$$
|
||
\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}
|
||
$$
|
||
|
||
**计算**:
|
||
- $A\Sigma = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix}$
|
||
- $\Sigma_{\mathbf{Y}} = A\Sigma A^T = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2+2\rho & 0 \\ 0 & 2-2\rho \end{pmatrix}$
|
||
|
||
**结论**:$\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2(1+\rho) & 0 \\ 0 & 2(1-\rho) \end{pmatrix}$
|
||
|
||
$\text{Cov}(Y_1, Y_2) = 0$ ⇒ $Y_1, Y_2$ 不相关;多元正态下 ⇒ **独立**!
|
||
|
||
**复盘**:当 $\rho = 0$ 时 $\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$ → $Y_1, Y_2$ 独立。
|
||
|
||
---
|
||
|
||
> **题目 3**:设 $\mathbf{X} = (X_1, X_2, X_3)^T$ 的协方差矩阵为
|
||
> $$\Sigma = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 1 & 2 \end{pmatrix}$$
|
||
>
|
||
> 求 $X_1$ 与 $(X_2 + X_3)$ 的协方差。
|
||
|
||
**解析**:
|
||
|
||
$$
|
||
\text{Cov}(X_1, X_2 + X_3) = \text{Cov}(X_1, X_2) + \text{Cov}(X_1, X_3) = 0 + 0 = 0
|
||
$$
|
||
|
||
**复盘**:协方差的线性(分配律)。
|
||
|
||
---
|
||
|
||
> **题目 4**:设 $\mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \sigma^2 I$(球对称)。证明 $\mathbf{X}$ 的各分量独立。
|
||
|
||
**解析**:
|
||
|
||
$\Sigma = \sigma^2 I$ 是对角矩阵 ⇒ $\text{Cov}(X_i, X_j) = 0$($i \ne j$)⇒ 不相关。
|
||
|
||
多元正态下:独立 ⇔ 不相关 ⇒ $X_1, X_2, \ldots, X_n$ 相互独立。
|
||
|
||
**复盘**:球对称多元正态 $\Rightarrow$ 各分量独立。
|
||
|
||
---
|
||
|
||
> **变式 1**:$(X,Y) \sim N(0, 0, 1, 1, 0.5)$。求 $\Sigma$ 和 $D(X+Y)$。
|
||
>
|
||
> **解**:$\Sigma = \begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}$;$D(X+Y) = 1 + 1 + 2 \times 0.5 = 3$。
|
||
|
||
> **变式 2**:$\mathbf{X} \sim N(\mathbf{0}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & 2 \\ 2 & 9 \end{pmatrix}$。$\Sigma$ 是合法协方差矩阵吗?
|
||
>
|
||
> **解**:特征值 $\lambda^2 - 10\lambda + 5 = 0 \Rightarrow \lambda = 5 \pm \sqrt{20} > 0$ → 半正定 → 合法。
|
||
|
||
---
|
||
|
||
> **口诀速记**:
|
||
> - "**$\Sigma$ = 对称 + 半正定**"
|
||
> - "**$\Sigma_{ii} = D(X_i)$**"
|
||
> - "**线性变换**:$\Sigma_{\mathbf{Y}} = A\Sigma A^T$"
|
||
> - "**多元正态**:独立 ⇔ 不相关 ⇔ $\Sigma$ 对角"
|
||
> - "**球对称** $\Sigma = \sigma^2 I$ ⇒ 各分量独立" |