Files
MathNotesVersion2/基于考研的学习/数学一/在学练习/概率论-第6讲-数理统计/06-点5-最大似然估计.md
T
Yimu 4e4009de30 重构概率论第6讲为「知识点带题」格式,并修复跨讲死链
- 第6讲数理统计:删旧三件套(01-考点手册 4.8 万字符 / 02-试题 / 03-解析)与 PDF,
  改为 01-知识点盘点 + 02—09 八点分册 + 10-速查卡,共 10 文件 26 题
- 八点:总体样本与统计量 / 三大抽样分布 / 正态总体抽样分布 / 矩估计 /
  最大似然 / 评价标准 / 区间估计 / 假设检验与两类错误
- 盘点含 §0.1 按分值、§0.2 依赖链、§0.3 符号、§0.4 AUTO 反查、§9 覆盖对照(21 条)、§10 接口
- 修复 2026-10 第3讲重构留下的死链:大题十年考点/15-点14(7 处指向已删 01-考点手册)、
  知识点构建/17-背诵版第3讲(回查入口 4 处)
- 知识点构建/20-背诵版第6讲:回查入口改指新文件,题源注明旧 18 题清单已失效待重出
- 同步:总览.md 第6讲目录树、知识点构建 README 题量 18 → 26
2026-11-07 13:02:26 +08:00

216 lines
13 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
tags: [数学一, 在学练习, 概率论, 数理统计, 最大似然估计]
专题: 概率论 第6讲 · 点5 最大似然估计
日期: 2026-11-07
状态: 知识点带题(5.1 似然函数与三步、5.2 支撑含参数,共 4 题)
关联笔记: ["[[README]]", "[[01-知识点盘点]]"]
---
# 点 5 最大似然估计
> **2018·23、2019·23、2020·23、2022·22 —— 十年四道大题,约 45 分**,是全讲最重的一点|重要度 ★★★
> 依赖:点 1 的联合密度。盘点对应:§5 全节。
**组织原则**:MLE 的动作极其固定,**唯一的变量是"支撑含不含参数"**。四题分两组:前两题(5.1)支撑固定,老老实实取对数求导;后两题(5.2)支撑含参数,只能看单调性。**这个分叉决定了 45 分里的 11 分能不能拿**。难度标准:★★☆ 两题、★★★ 两题。
## 知识点 5.1 似然函数与三步(出处:[知识章 §3.2](../../../../参考仓库/Math/probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex))
$$L(\theta)=\prod_{i=1}^{n}f(x_i;\theta)\ \ (\text{离散型用}\ \prod p(x_i;\theta)),\qquad \ln L=\sum_{i=1}^{n}\ln f(x_i;\theta).$$
**三步**:
1. 写 $L(\theta)$ (**连同支撑条件一起写**);
2. 取对数 $\ln L$ (乘积变加法,指数变系数);
3. 对参数求导令零,解出 $\hat\theta$ ;**最后检查是否为最大值**(二阶导或单调性)。
**多参数**:对每个参数分别求偏导,联立解方程组。
**不变性(省一半功夫)**:若 $\hat\theta$ 是 $\theta$ 的 MLE,则对任意函数 $g$ ,$g(\hat\theta)$ 是 $g(\theta)$ 的 MLE。**所以求 $\lambda$ 的 MLE 之后,$1/\lambda$ 的 MLE 直接取倒数,不必重算。**
## 知识点 5.2 支撑含参数(出处:[知识章 §3.2](../../../../参考仓库/Math/probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex))
当密度的非零区间端点含参数(如 $0<x<\theta$ 、$x\ge\mu$ )时,$L$ 里出现**示性函数**:
$$L(\theta)=\theta^{-n}\cdot\mathbf 1\{0<x_{(n)}<\theta\}\quad(\text{以 }U(0,\theta)\text{ 为例}).$$
**求导这条路彻底断了**——$\mathbf 1$ 不是可导函数。此时只能看 $L$ 关于 $\theta$ 的**单调性**:
| $L$ 的单调性 | $\hat\theta$ 取什么 |
|---|---|
| 随 $\theta$ 增大而**减小** | 取 $\theta$ 的**最小可行值**(常为 $X_{(n)}$ ) |
| 随 $\theta$ 增大而**增大** | 取 $\theta$ 的**最大可行值**(常为 $X_{(1)}$ ) |
**判断"可行"的界**:约束来自"所有 $x_i$ 都必须落在支撑内",即 $\theta\ge x_{(n)}$ (或 $\mu\le x_{(1)}$ )。所以最小可行值就是 $X_{(n)}$ 。
> **写答案时必须带一句**:"因为 $L$ 关于 $\theta$ 单调递减,且 $\theta\ge X_{(n)}$ ,故 $\hat\theta=X_{(n)}$ 。"没有这句话,阅卷按"未说明取边界"扣分。
---
## 题目(按知识点顺序对应)
### 题 1 · 5.1:指数分布与不变性(★★☆)
> 设总体 $X\sim E(\lambda)$ ($\lambda>0$ 未知),$X_1,\dots,X_n$ 为简单随机样本。
>
> (Ⅰ)求 $\lambda$ 的最大似然估计 $\hat\lambda$ ;
> (Ⅱ)求 $P\{X>t\}$ 的最大似然估计;
> (Ⅲ)若改用矩估计法,$\lambda$ 的估计量是否相同?
**怎么想**:(Ⅰ)标准三步;(Ⅱ)用不变性,把 $\hat\lambda$ 代进 $P\{X>t\}=e^{-\lambda t}$ 即可;(Ⅲ)一阶矩 $EX=\frac1\lambda$ ,与(Ⅰ)的答案应当是同一个。
**解**:
**(Ⅰ)** 似然函数
$$L(\lambda)=\prod_{i=1}^{n}\lambda e^{-\lambda x_i}=\lambda^{n}e^{-\lambda\sum x_i}\quad(x_i>0).$$
取对数:
$$\ln L=n\ln\lambda-\lambda\sum_{i=1}^{n}x_i .$$
求导令零:
$$\frac{\mathrm d\ln L}{\mathrm d\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\quad\Longrightarrow\quad\hat\lambda=\frac{n}{\sum\limits_{i=1}^{n}X_i}=\frac{1}{\bar X}.$$
二阶导 $-\dfrac{n}{\lambda^2}<0$ ,确为最大值。
**(Ⅱ)** $P\{X>t\}=e^{-\lambda t}$ ,由不变性,
$$\widehat{P\{X>t\}}=e^{-\hat\lambda t}=e^{-t/\bar X}.$$
**(Ⅲ)** 矩估计:$EX=\dfrac1\lambda$ ,令 $\dfrac1\lambda=\bar X$ ,得 $\hat\lambda=\dfrac{1}{\bar X}$ 。**与(Ⅰ)完全相同。**
**验算**:两法同解并不偶然——指数分布是**单参数指数族**,其矩估计与 MLE 在多数情形下重合(拉普拉斯分布、正态的 $\mu$ 也如此)。但**不是普遍规律**:本题第 2、4 题里两法就不同。
**带走结论**:**先取对数再求导**是指数型密度的捷径,因为 $\ln$ 把 $\prod$ 变成 $\sum$ 、把 $e^{-\lambda\sum x_i}$ 变成 $-\lambda\sum x_i$ 。另外**不变性可以层层传递**:算出 $\hat\lambda$ 后,任何 $\lambda$ 的函数($e^{-\lambda t}$ 、$\frac1\lambda$ 、$\lambda^2$ )的 MLE 都是把 $\hat\lambda$ 代进去。
> **关联** · 盘点 [§5.1 似然函数与三步](01-知识点盘点.md#user-content-51-似然函数与三步) | 上游 — | 下游 [点 5 题 2](06-点5-最大似然估计.md#user-content-题-2--51两组不同参数的泊松) | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
---
### 题 2 · 5.1:两组不同参数的泊松(★★☆)
> 设 $X_1,\dots,X_n$ 来自参数为 $\theta$ 的泊松分布,$Y_1,\dots,Y_m$ 来自参数为 $2\theta$ 的泊松分布,两样本相互独立,$\theta>0$ 未知。
>
> (Ⅰ)求 $\theta$ 的最大似然估计 $\hat\theta$ ;
> (Ⅱ)判断 $\hat\theta$ 是否无偏;
> (Ⅲ)若把第二个总体的参数改成 $k\theta$ ($k>0$ 已知),$\hat\theta$ 变成什么?
**怎么想**:两组样本共用同一个 $\theta$ ,所以**联合似然要乘在一起**——这是本题唯一的难点。取对数后 $\theta$ 只以 $\ln\theta$ 与 $\theta$ 两种形式出现,求导很干净。
**解**:
**(Ⅰ)** 似然函数(两个总体的联合):
$$L(\theta)=\prod_{i=1}^{n}\frac{\theta^{x_i}e^{-\theta}}{x_i!}\cdot\prod_{j=1}^{m}\frac{(2\theta)^{y_j}e^{-2\theta}}{y_j!}=\frac{\theta^{\sum x_i+\sum y_j}\,2^{\sum y_j}\,e^{-(n+2m)\theta}}{\prod x_i!\prod y_j!}.$$
取对数(丢掉与 $\theta$ 无关的常数):
$$\ln L=\left(\sum x_i+\sum y_j\right)\ln\theta-(n+2m)\theta+C.$$
求导令零:
$$\frac{\mathrm d\ln L}{\mathrm d\theta}=\frac{\sum x_i+\sum y_j}{\theta}-(n+2m)=0\quad\Longrightarrow\quad \hat\theta=\frac{\sum\limits_{i=1}^{n}X_i+\sum\limits_{j=1}^{m}Y_j}{n+2m}.$$
**(Ⅱ)** 由 $EX_i=\theta$ 、$EY_j=2\theta$ ,
$$E\hat\theta=\frac{n\theta+m\cdot2\theta}{n+2m}=\frac{(n+2m)\theta}{n+2m}=\theta .$$
故 $\hat\theta$ **无偏**。
**(Ⅲ)** 把 $2$ 换成 $k$ 重走一遍:$e^{-(n+km)\theta}$ ,求导得
$$\hat\theta=\frac{\sum x_i+\sum y_j}{n+km}.$$
**验算**:$k=1$ 时退化为"\(n+m\) 个同分布泊松"的 $\hat\theta=\dfrac{\sum x+\sum y}{n+m}$ ✓;$k=1$ 且 $m=0$ 时退化为 $\hat\theta=\bar X$ ✓。
**带走结论**:**"两组样本、一个参数"的题,答案永远是"分子加总、分母加权"** :分母是 $\sum n_i k_i$ ,其中 $k_i$ 是该组参数与 $\theta$ 的比例。这个结构在无偏性上也自动成立,所以**这类 MLE 常常恰好无偏**(因为似然是两部分信息的加权平均)。
> **关联** · 盘点 [§5.1 似然函数与三步](01-知识点盘点.md#user-content-51-似然函数与三步) | 上游 [点 5 题 1](06-点5-最大似然估计.md#user-content-题-1--51指数分布与不变性) | 下游 — | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
---
### 题 3 · 5.2:均匀分布的 MLE 不能求导(★★☆)
> 设 $X_1,\dots,X_n$ 来自 $U(0,\theta)$ ,$\theta>0$ 未知,$X_{(n)}=\max\{X_i\}$ 。
>
> (Ⅰ)写出似然函数,并说明为什么不能对 $\theta$ 求导;
> (Ⅱ)求 $\theta$ 的最大似然估计;
> (Ⅲ)该估计量是否无偏?若无偏请修正。
**怎么想**:$L$ 的支撑是 $0<x_i<\theta$ ,等价于 $\theta>x_{(n)}$ 。在这个约束下 $L=\theta^{-n}$ 随 $\theta$ 增大而减小,所以取最小可行值。
**解**:
**(Ⅰ)** 单个密度 $f(x;\theta)=\dfrac1\theta\ (0<x<\theta)$ ,故
$$L(\theta)=\prod_{i=1}^{n}\frac1\theta\cdot\mathbf 1\{0<x_i<\theta\}=\frac{1}{\theta^{n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.$$
**不能求导的原因**:$\mathbf 1\{\theta>x_{(n)}\}$ 是跳跃函数,在 $\theta=x_{(n)}$ 处不可导;而且 $L$ 在可行域**内部**没有驻点($\frac{\mathrm d}{\mathrm d\theta}\theta^{-n}=-\frac{n}{\theta^{n+1}}\ne0$ ),求导令零会得到"无解"。
**(Ⅱ)** 在可行域 $\theta>x_{(n)}$ 上,$L=\theta^{-n}$ **关于 $\theta$ 严格递减**,所以取最小的可行 $\theta$ :
$$\hat\theta=X_{(n)} .$$
(严格说似然在 $\theta=x_{(n)}$ 处取到上确界,故 MLE 为 $X_{(n)}$ 。)
**(Ⅲ)** 由点 1 题 3,$EX_{(n)}=\dfrac{n}{n+1}\theta<\theta$ ,**有偏**。修正:
$$\tilde\theta=\frac{n+1}{n}X_{(n)},\qquad E\tilde\theta=\theta .$$
**验算**:$n=1$ 时 $\hat\theta=X_1$ ,$EX_1=\frac{\theta}{2}\ne\theta$ ,偏得最厉害;$n\to\infty$ 时 $\frac{n}{n+1}\to1$ ,偏差消失——这与"$X_{(n)}$ 相合"一致。
**带走结论**:**看到支撑带参数,立刻放弃求导**。判断规则只有一条:**$L$ 的单调方向决定取哪个端点**。$U(0,\theta)$ 型(上端含参数)取 $X_{(n)}$ ,$U(\theta,1)$ 型(下端含参数)取 $X_{(1)}$ 。**而 $X_{(n)}$ 永远偏小**,所以修正系数总是"大于 $1$ "。
> **关联** · 盘点 [§5.2 支撑含参数(唯一不能求导的情形)](01-知识点盘点.md#user-content-52-支撑含参数唯一不能求导的情形) | 上游 — | 下游 [点 5 题 4](06-点5-最大似然估计.md#user-content-题-4--52平方型密度与无偏修正) | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
---
### 题 4 · 5.2:平方型密度与无偏修正(★★★)
> 设总体 $X$ 的概率密度为
>
> $$f(x;\theta)=\begin{cases}\dfrac{3x^{2}}{\theta^{3}}, & 0<x<\theta,\\ 0, & \text{其他},\end{cases}\qquad \theta>0\ \text{未知}.$$
>
> $X_1,\dots,X_n$ 为简单随机样本,$X_{(n)}=\max\{X_i\}$ 。
>
> (Ⅰ)求 $\theta$ 的最大似然估计 $\hat\theta$ ;
> (Ⅱ)求 $E X_{(n)}$ ,并据此构造 $\theta$ 的无偏估计;
> (Ⅲ)若用矩估计法,$\theta$ 的估计量是什么?与(Ⅰ)是否相同?
**怎么想**:(Ⅰ)密度里 $\theta$ 出现在分母的幂上,但**支撑里同样有 $\theta$ 这个参数** ,所以仍属"求导无效"那一类——先写 $L$ 再判断单调。(Ⅱ)$X_{(n)}$ 的分布要先求 $F(x)=\frac{x^3}{\theta^3}$ 。(Ⅲ)一阶矩 $EX=\frac34\theta$ 。
**解**:
**(Ⅰ)** 似然函数
$$L(\theta)=\prod_{i=1}^{n}\frac{3x_i^{2}}{\theta^{3}}\cdot\mathbf 1\{\theta>x_{(n)}\}=\frac{3^{n}\prod x_i^{2}}{\theta^{3n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.$$
在可行域 $\theta>x_{(n)}$ 上,$L$ 关于 $\theta$ **严格递减**($\theta^{-3n}$ 是减函数),故取最小可行值:
$$\hat\theta=X_{(n)} .$$
**(Ⅱ)** 先求分布函数:$F(x)=\displaystyle\int_0^{x}\frac{3t^2}{\theta^3}\,\mathrm dt=\frac{x^{3}}{\theta^{3}}\ (0<x<\theta)$ 。于是
$$F_{X_{(n)}}(x)=\left(\frac{x^{3}}{\theta^{3}}\right)^{n}=\frac{x^{3n}}{\theta^{3n}},\qquad f_{X_{(n)}}(x)=\frac{3n\,x^{3n-1}}{\theta^{3n}} .$$
$$EX_{(n)}=\int_0^{\theta}x\cdot\frac{3n x^{3n-1}}{\theta^{3n}}\,\mathrm dx=\frac{3n}{\theta^{3n}}\cdot\frac{\theta^{3n+1}}{3n+1}=\frac{3n}{3n+1}\theta .$$
故无偏估计为
$$\tilde\theta=\frac{3n+1}{3n}X_{(n)},\qquad E\tilde\theta=\theta .$$
**(Ⅲ)** 矩估计:$EX=\displaystyle\int_0^{\theta}x\cdot\frac{3x^2}{\theta^3}\,\mathrm dx=\frac{3}{\theta^3}\cdot\frac{\theta^{4}}{4}=\frac{3}{4}\theta$ 。令 $\frac34\theta=\bar X$ 得
$$\hat\theta_{\text{矩}}=\frac43\bar X .$$
**与(Ⅰ)不同**:MLE 用 $X_{(n)}$ (只看最大值),矩估计用 $\bar X$ (用全部信息)。两者都相合,但**方差相差一个量级**——$D X_{(n)}=O\left(\frac{\theta^2}{n^2}\right)$ ,远小于 $D\bar X=O\left(\frac{\theta^2}{n}\right)$ ,所以在这里 MLE 好得多。
**验算**:取 $n=1$ ,(Ⅱ)给 $E X_{(1)}=\frac{3}{4}\theta$ ,与(Ⅲ)的 $EX=\frac34\theta$ 一致 ✓;(Ⅲ)的 $\frac43\bar X$ 在 $n=1$ 时就是 $\frac43X_1$ ,无偏 ✓。
**带走结论**:**"支撑含参数"的题有三问是标配**:MLE(取边界)→ $EX_{(n)}$ (求 $F$ 再积分)→ 无偏修正(乘 $\frac{1}{E X_{(n)}/\theta}$ )。这三问连起来就是 2016·23 的完整结构。另外记住 $X_{(n)}$ 的方差是 $O(n^{-2})$ 级——**上界型参数的最优估计永远来自极值,不是均值**。
> **关联** · 盘点 [§5.2 支撑含参数(唯一不能求导的情形)](01-知识点盘点.md#user-content-52-支撑含参数唯一不能求导的情形) | 上游 [点 5 题 3](06-点5-最大似然估计.md#user-content-题-3--52均匀分布的-mle-不能求导) | 下游 — | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
---