Files
MathNotesVersion1/公式笔记/概率论/Ch04_随机变量的数字特征/题型8_协方差矩阵与多元统计.md
T
2026-10-04 11:44:56 +08:00

200 lines
7.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 题型八:协方差矩阵与多元统计
## 识别特征
- 题干涉及 $n$ 维随机向量 $(X_1, \ldots, X_n)$ 的**协方差矩阵**
- 涉及**多元正态分布** $N(\boldsymbol{\mu}, \Sigma)$
- 涉及线性变换下协方差矩阵的计算
## 解题流程
```mermaid
flowchart TD
A[识别:协方差矩阵 / 多元正态] --> B{已知分布?}
B -->|多元正态| C[查 N μ, Σ 直接写]
B -->|一般向量| D[计算各 Cov X_i,X_j 构造 Σ]
C --> E{做线性变换?}
B -->|否| E
D --> E
E -->|是| F["Σ_Y = A Σ_X A^T"]
E -->|否| G[验证半正定性等性质]
```
## 通法步骤
### 一、协方差矩阵的定义
对 $n$ 维随机向量 $\mathbf{X} = (X_1, X_2, \ldots, X_n)^T$,**协方差矩阵**为:
$$
\Sigma = E[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T]
$$
**显式形式**:
$$
\Sigma =
\begin{pmatrix}
\text{Cov}(X_1,X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_n) \\
\text{Cov}(X_2,X_1) & \text{Cov}(X_2,X_2) & \cdots & \text{Cov}(X_2,X_n) \\
\vdots & \vdots & \ddots & \vdots \\
\text{Cov}(X_n,X_1) & \text{Cov}(X_n,X_2) & \cdots & \text{Cov}(X_n,X_n)
\end{pmatrix}
$$
**关键性质**:
- 对角元素:$\Sigma_{ii} = D(X_i)$
- 对称:$\Sigma^T = \Sigma$
- **半正定**:$\mathbf{x}^T \Sigma \mathbf{x} \ge 0$($\forall \mathbf{x}$)
### 二、多元正态分布 $N(\boldsymbol{\mu}, \Sigma)$
密度($n=2$ 情形):
$$
f(x,y) = \frac{1}{2\pi \sqrt{|\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)
$$
**核心结论**:
| 结论 | 公式 |
|------|------|
| **边缘分布** | $X_i \sim N(\mu_i, \sigma_i^2)$,其中 $\sigma_i^2 = \Sigma_{ii}$ |
| **独立 ⇔ 不相关** | $\Sigma_{ij} = 0$($i \ne j$)时,$X_i, X_j$ 独立 |
| **线性变换** | $A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma A^T)$ |
| **条件分布** | $X_1 \| X_2 = \mathbf{x}_2 \sim N(\mu_1 + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2), \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21})$ |
### 三、二元正态的关键公式
设 $(X,Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$,则:
$$
\Sigma = \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{pmatrix}, \quad |\Sigma| = \sigma_1^2 \sigma_2^2 (1-\rho^2)
$$
$$
\Sigma^{-1} = \frac{1}{\sigma_1^2 \sigma_2^2 (1-\rho^2)} \begin{pmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{pmatrix}
$$
### 四、相关矩阵
**标准化协方差矩阵**(对角线为 1):
$$
R = \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{21} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{n1} & \rho_{n2} & \cdots & 1 \end{pmatrix}
$$
其中 $\rho_{ij} = \text{Cov}(X_i, X_j) / \sqrt{D(X_i) D(X_j)}$。
### 五、线性变换公式 ⭐
设 $\mathbf{Y} = A\mathbf{X} + \mathbf{b}$,则:
$$
E(\mathbf{Y}) = A\boldsymbol{\mu} + \mathbf{b}, \quad \Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T
$$
**多元正态下**:
$$
\mathbf{Y} = A\mathbf{X} + \mathbf{b} \sim N(A\boldsymbol{\mu} + \mathbf{b}, A\Sigma_{\mathbf{X}} A^T)
$$
## 常见陷阱
- **半正定遗漏**:协方差矩阵必须半正定;任意对称半正定矩阵都是某随机向量的 $\Sigma$
- **$\Sigma$ vs $R$ 混淆**:$\Sigma$ 是协方差矩阵(含方差),$R$ 是相关矩阵(对角线为 1)
- **正态假设**:独立 ⇔ 不相关的等价只在多元正态下成立
- **矩阵大小写**:$\Sigma$ 是 $n \times n$ 矩阵;$\mathbf{x}^T \Sigma \mathbf{x}$ 是标量
- **线性变换公式**:$\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T$(**不是** $A\Sigma_{\mathbf{X}} A^{-1}$!)
## 经典母题
> **题目 1**:设 $(X_1, X_2)$ 的协方差矩阵为
> $$\Sigma = \begin{pmatrix} 4 & 1 \\ 1 & 9 \end{pmatrix}$$
>
> 求:(1) $D(X_1), D(X_2), \text{Cov}(X_1, X_2)$;(2) 相关系数 $\rho_{12}$;(3) $\Sigma$ 是否半正定?
**解析**:
**(1)** 直接读对角线和元素:
- $D(X_1) = 4, D(X_2) = 9$
- $\text{Cov}(X_1, X_2) = 1$
**(2)** $\rho_{12} = \dfrac{1}{\sqrt{4 \times 9}} = \dfrac{1}{6}$
**(3)** 验证半正定:任意 $\mathbf{x} = (x_1, x_2)^T$:
$$
\mathbf{x}^T \Sigma \mathbf{x} = 4x_1^2 + 2x_1 x_2 + 9x_2^2 = 3x_1^2 + (x_1+x_2)^2 + 5x_2^2 \ge 0
$$
或计算特征值:$\det(\Sigma - \lambda I) = (4-\lambda)(9-\lambda) - 1 = \lambda^2 - 13\lambda + 35 = 0$
$$
\lambda = \frac{13 \pm \sqrt{169 - 140}}{2} = \frac{13 \pm \sqrt{29}}{2} \approx 11.19, 1.81 > 0
$$
**结论**:特征值都 $>0$ → $\Sigma$ 正定(半正定的加强)。
**复盘**:验证半正定 = 所有特征值 $\ge 0$ 或主子式都 $\ge 0$。
---
> **题目 2**:设 $(X_1, X_2)^T \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$。求 $Y_1 = X_1 + X_2, Y_2 = X_1 - X_2$ 的协方差矩阵。
**解析**:
线性变换 $\mathbf{Y} = A\mathbf{X}$,其中 $A = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$
$$
\Sigma_{\mathbf{Y}} = A\Sigma_{\mathbf{X}} A^T = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}
$$
**计算**:
- $A\Sigma = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix}$
- $\Sigma_{\mathbf{Y}} = A\Sigma A^T = \begin{pmatrix} 1+\rho & 1+\rho \\ 1-\rho & \rho-1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 2+2\rho & 0 \\ 0 & 2-2\rho \end{pmatrix}$
**结论**:$\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2(1+\rho) & 0 \\ 0 & 2(1-\rho) \end{pmatrix}$
$\text{Cov}(Y_1, Y_2) = 0$ ⇒ $Y_1, Y_2$ 不相关;多元正态下 ⇒ **独立**!
**复盘**:当 $\rho = 0$ 时 $\Sigma_{\mathbf{Y}} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$ → $Y_1, Y_2$ 独立。
---
> **题目 3**:设 $\mathbf{X} = (X_1, X_2, X_3)^T$ 的协方差矩阵为
> $$\Sigma = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 1 & 2 \end{pmatrix}$$
>
> 求 $X_1$ 与 $(X_2 + X_3)$ 的协方差。
**解析**:
$$
\text{Cov}(X_1, X_2 + X_3) = \text{Cov}(X_1, X_2) + \text{Cov}(X_1, X_3) = 0 + 0 = 0
$$
**复盘**:协方差的线性(分配律)。
---
> **题目 4**:设 $\mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma)$,$\Sigma = \sigma^2 I$(球对称)。证明 $\mathbf{X}$ 的各分量独立。
**解析**:
$\Sigma = \sigma^2 I$ 是对角矩阵 ⇒ $\text{Cov}(X_i, X_j) = 0$($i \ne j$)⇒ 不相关。
多元正态下:独立 ⇔ 不相关 ⇒ $X_1, X_2, \ldots, X_n$ 相互独立。
**复盘**:球对称多元正态 $\Rightarrow$ 各分量独立。
---
> **变式 1**:$(X,Y) \sim N(0, 0, 1, 1, 0.5)$。求 $\Sigma$ 和 $D(X+Y)$。
>
> **解**:$\Sigma = \begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}$;$D(X+Y) = 1 + 1 + 2 \times 0.5 = 3$。
> **变式 2**:$\mathbf{X} \sim N(\mathbf{0}, \Sigma)$,$\Sigma = \begin{pmatrix} 1 & 2 \\ 2 & 9 \end{pmatrix}$。$\Sigma$ 是合法协方差矩阵吗?
>
> **解**:特征值 $\lambda^2 - 10\lambda + 5 = 0 \Rightarrow \lambda = 5 \pm \sqrt{20} > 0$ → 半正定 → 合法。
---
> **口诀速记**:
> - "**$\Sigma$ = 对称 + 半正定**"
> - "**$\Sigma_{ii} = D(X_i)$**"
> - "**线性变换**:$\Sigma_{\mathbf{Y}} = A\Sigma A^T$"
> - "**多元正态**:独立 ⇔ 不相关 ⇔ $\Sigma$ 对角"
> - "**球对称** $\Sigma = \sigma^2 I$ ⇒ 各分量独立"