重构概率论第6讲为「知识点带题」格式,并修复跨讲死链
- 第6讲数理统计:删旧三件套(01-考点手册 4.8 万字符 / 02-试题 / 03-解析)与 PDF, 改为 01-知识点盘点 + 02—09 八点分册 + 10-速查卡,共 10 文件 26 题 - 八点:总体样本与统计量 / 三大抽样分布 / 正态总体抽样分布 / 矩估计 / 最大似然 / 评价标准 / 区间估计 / 假设检验与两类错误 - 盘点含 §0.1 按分值、§0.2 依赖链、§0.3 符号、§0.4 AUTO 反查、§9 覆盖对照(21 条)、§10 接口 - 修复 2026-10 第3讲重构留下的死链:大题十年考点/15-点14(7 处指向已删 01-考点手册)、 知识点构建/17-背诵版第3讲(回查入口 4 处) - 知识点构建/20-背诵版第6讲:回查入口改指新文件,题源注明旧 18 题清单已失效待重出 - 同步:总览.md 第6讲目录树、知识点构建 README 题量 18 → 26
This commit is contained in:
@@ -0,0 +1,215 @@
|
||||
---
|
||||
tags: [数学一, 在学练习, 概率论, 数理统计, 最大似然估计]
|
||||
专题: 概率论 第6讲 · 点5 最大似然估计
|
||||
日期: 2026-11-07
|
||||
状态: 知识点带题(5.1 似然函数与三步、5.2 支撑含参数,共 4 题)
|
||||
关联笔记: ["[[README]]", "[[01-知识点盘点]]"]
|
||||
---
|
||||
|
||||
# 点 5 最大似然估计
|
||||
|
||||
> **2018·23、2019·23、2020·23、2022·22 —— 十年四道大题,约 45 分**,是全讲最重的一点|重要度 ★★★
|
||||
> 依赖:点 1 的联合密度。盘点对应:§5 全节。
|
||||
|
||||
**组织原则**:MLE 的动作极其固定,**唯一的变量是"支撑含不含参数"**。四题分两组:前两题(5.1)支撑固定,老老实实取对数求导;后两题(5.2)支撑含参数,只能看单调性。**这个分叉决定了 45 分里的 11 分能不能拿**。难度标准:★★☆ 两题、★★★ 两题。
|
||||
|
||||
## 知识点 5.1 似然函数与三步(出处:[知识章 §3.2](../../../../参考仓库/Math/probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex))
|
||||
|
||||
$$L(\theta)=\prod_{i=1}^{n}f(x_i;\theta)\ \ (\text{离散型用}\ \prod p(x_i;\theta)),\qquad \ln L=\sum_{i=1}^{n}\ln f(x_i;\theta).$$
|
||||
|
||||
**三步**:
|
||||
|
||||
1. 写 $L(\theta)$ (**连同支撑条件一起写**);
|
||||
2. 取对数 $\ln L$ (乘积变加法,指数变系数);
|
||||
3. 对参数求导令零,解出 $\hat\theta$ ;**最后检查是否为最大值**(二阶导或单调性)。
|
||||
|
||||
**多参数**:对每个参数分别求偏导,联立解方程组。
|
||||
|
||||
**不变性(省一半功夫)**:若 $\hat\theta$ 是 $\theta$ 的 MLE,则对任意函数 $g$ ,$g(\hat\theta)$ 是 $g(\theta)$ 的 MLE。**所以求 $\lambda$ 的 MLE 之后,$1/\lambda$ 的 MLE 直接取倒数,不必重算。**
|
||||
|
||||
## 知识点 5.2 支撑含参数(出处:[知识章 §3.2](../../../../参考仓库/Math/probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex))
|
||||
|
||||
当密度的非零区间端点含参数(如 $0<x<\theta$ 、$x\ge\mu$ )时,$L$ 里出现**示性函数**:
|
||||
|
||||
$$L(\theta)=\theta^{-n}\cdot\mathbf 1\{0<x_{(n)}<\theta\}\quad(\text{以 }U(0,\theta)\text{ 为例}).$$
|
||||
|
||||
**求导这条路彻底断了**——$\mathbf 1$ 不是可导函数。此时只能看 $L$ 关于 $\theta$ 的**单调性**:
|
||||
|
||||
| $L$ 的单调性 | $\hat\theta$ 取什么 |
|
||||
|---|---|
|
||||
| 随 $\theta$ 增大而**减小** | 取 $\theta$ 的**最小可行值**(常为 $X_{(n)}$ ) |
|
||||
| 随 $\theta$ 增大而**增大** | 取 $\theta$ 的**最大可行值**(常为 $X_{(1)}$ ) |
|
||||
|
||||
**判断"可行"的界**:约束来自"所有 $x_i$ 都必须落在支撑内",即 $\theta\ge x_{(n)}$ (或 $\mu\le x_{(1)}$ )。所以最小可行值就是 $X_{(n)}$ 。
|
||||
|
||||
> **写答案时必须带一句**:"因为 $L$ 关于 $\theta$ 单调递减,且 $\theta\ge X_{(n)}$ ,故 $\hat\theta=X_{(n)}$ 。"没有这句话,阅卷按"未说明取边界"扣分。
|
||||
|
||||
---
|
||||
|
||||
## 题目(按知识点顺序对应)
|
||||
|
||||
### 题 1 · 5.1:指数分布与不变性(★★☆)
|
||||
|
||||
> 设总体 $X\sim E(\lambda)$ ($\lambda>0$ 未知),$X_1,\dots,X_n$ 为简单随机样本。
|
||||
>
|
||||
> (Ⅰ)求 $\lambda$ 的最大似然估计 $\hat\lambda$ ;
|
||||
> (Ⅱ)求 $P\{X>t\}$ 的最大似然估计;
|
||||
> (Ⅲ)若改用矩估计法,$\lambda$ 的估计量是否相同?
|
||||
|
||||
**怎么想**:(Ⅰ)标准三步;(Ⅱ)用不变性,把 $\hat\lambda$ 代进 $P\{X>t\}=e^{-\lambda t}$ 即可;(Ⅲ)一阶矩 $EX=\frac1\lambda$ ,与(Ⅰ)的答案应当是同一个。
|
||||
|
||||
**解**:
|
||||
|
||||
**(Ⅰ)** 似然函数
|
||||
|
||||
$$L(\lambda)=\prod_{i=1}^{n}\lambda e^{-\lambda x_i}=\lambda^{n}e^{-\lambda\sum x_i}\quad(x_i>0).$$
|
||||
|
||||
取对数:
|
||||
|
||||
$$\ln L=n\ln\lambda-\lambda\sum_{i=1}^{n}x_i .$$
|
||||
|
||||
求导令零:
|
||||
|
||||
$$\frac{\mathrm d\ln L}{\mathrm d\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\quad\Longrightarrow\quad\hat\lambda=\frac{n}{\sum\limits_{i=1}^{n}X_i}=\frac{1}{\bar X}.$$
|
||||
|
||||
二阶导 $-\dfrac{n}{\lambda^2}<0$ ,确为最大值。
|
||||
|
||||
**(Ⅱ)** $P\{X>t\}=e^{-\lambda t}$ ,由不变性,
|
||||
|
||||
$$\widehat{P\{X>t\}}=e^{-\hat\lambda t}=e^{-t/\bar X}.$$
|
||||
|
||||
**(Ⅲ)** 矩估计:$EX=\dfrac1\lambda$ ,令 $\dfrac1\lambda=\bar X$ ,得 $\hat\lambda=\dfrac{1}{\bar X}$ 。**与(Ⅰ)完全相同。**
|
||||
|
||||
**验算**:两法同解并不偶然——指数分布是**单参数指数族**,其矩估计与 MLE 在多数情形下重合(拉普拉斯分布、正态的 $\mu$ 也如此)。但**不是普遍规律**:本题第 2、4 题里两法就不同。
|
||||
|
||||
**带走结论**:**先取对数再求导**是指数型密度的捷径,因为 $\ln$ 把 $\prod$ 变成 $\sum$ 、把 $e^{-\lambda\sum x_i}$ 变成 $-\lambda\sum x_i$ 。另外**不变性可以层层传递**:算出 $\hat\lambda$ 后,任何 $\lambda$ 的函数($e^{-\lambda t}$ 、$\frac1\lambda$ 、$\lambda^2$ )的 MLE 都是把 $\hat\lambda$ 代进去。
|
||||
|
||||
> **关联** · 盘点 [§5.1 似然函数与三步](01-知识点盘点.md#user-content-51-似然函数与三步) | 上游 — | 下游 [点 5 题 2](06-点5-最大似然估计.md#user-content-题-2--51两组不同参数的泊松) | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
|
||||
|
||||
---
|
||||
|
||||
### 题 2 · 5.1:两组不同参数的泊松(★★☆)
|
||||
|
||||
> 设 $X_1,\dots,X_n$ 来自参数为 $\theta$ 的泊松分布,$Y_1,\dots,Y_m$ 来自参数为 $2\theta$ 的泊松分布,两样本相互独立,$\theta>0$ 未知。
|
||||
>
|
||||
> (Ⅰ)求 $\theta$ 的最大似然估计 $\hat\theta$ ;
|
||||
> (Ⅱ)判断 $\hat\theta$ 是否无偏;
|
||||
> (Ⅲ)若把第二个总体的参数改成 $k\theta$ ($k>0$ 已知),$\hat\theta$ 变成什么?
|
||||
|
||||
**怎么想**:两组样本共用同一个 $\theta$ ,所以**联合似然要乘在一起**——这是本题唯一的难点。取对数后 $\theta$ 只以 $\ln\theta$ 与 $\theta$ 两种形式出现,求导很干净。
|
||||
|
||||
**解**:
|
||||
|
||||
**(Ⅰ)** 似然函数(两个总体的联合):
|
||||
|
||||
$$L(\theta)=\prod_{i=1}^{n}\frac{\theta^{x_i}e^{-\theta}}{x_i!}\cdot\prod_{j=1}^{m}\frac{(2\theta)^{y_j}e^{-2\theta}}{y_j!}=\frac{\theta^{\sum x_i+\sum y_j}\,2^{\sum y_j}\,e^{-(n+2m)\theta}}{\prod x_i!\prod y_j!}.$$
|
||||
|
||||
取对数(丢掉与 $\theta$ 无关的常数):
|
||||
|
||||
$$\ln L=\left(\sum x_i+\sum y_j\right)\ln\theta-(n+2m)\theta+C.$$
|
||||
|
||||
求导令零:
|
||||
|
||||
$$\frac{\mathrm d\ln L}{\mathrm d\theta}=\frac{\sum x_i+\sum y_j}{\theta}-(n+2m)=0\quad\Longrightarrow\quad \hat\theta=\frac{\sum\limits_{i=1}^{n}X_i+\sum\limits_{j=1}^{m}Y_j}{n+2m}.$$
|
||||
|
||||
**(Ⅱ)** 由 $EX_i=\theta$ 、$EY_j=2\theta$ ,
|
||||
|
||||
$$E\hat\theta=\frac{n\theta+m\cdot2\theta}{n+2m}=\frac{(n+2m)\theta}{n+2m}=\theta .$$
|
||||
|
||||
故 $\hat\theta$ **无偏**。
|
||||
|
||||
**(Ⅲ)** 把 $2$ 换成 $k$ 重走一遍:$e^{-(n+km)\theta}$ ,求导得
|
||||
|
||||
$$\hat\theta=\frac{\sum x_i+\sum y_j}{n+km}.$$
|
||||
|
||||
**验算**:$k=1$ 时退化为"\(n+m\) 个同分布泊松"的 $\hat\theta=\dfrac{\sum x+\sum y}{n+m}$ ✓;$k=1$ 且 $m=0$ 时退化为 $\hat\theta=\bar X$ ✓。
|
||||
|
||||
**带走结论**:**"两组样本、一个参数"的题,答案永远是"分子加总、分母加权"** :分母是 $\sum n_i k_i$ ,其中 $k_i$ 是该组参数与 $\theta$ 的比例。这个结构在无偏性上也自动成立,所以**这类 MLE 常常恰好无偏**(因为似然是两部分信息的加权平均)。
|
||||
|
||||
> **关联** · 盘点 [§5.1 似然函数与三步](01-知识点盘点.md#user-content-51-似然函数与三步) | 上游 [点 5 题 1](06-点5-最大似然估计.md#user-content-题-1--51指数分布与不变性) | 下游 — | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
|
||||
|
||||
---
|
||||
|
||||
### 题 3 · 5.2:均匀分布的 MLE 不能求导(★★☆)
|
||||
|
||||
> 设 $X_1,\dots,X_n$ 来自 $U(0,\theta)$ ,$\theta>0$ 未知,$X_{(n)}=\max\{X_i\}$ 。
|
||||
>
|
||||
> (Ⅰ)写出似然函数,并说明为什么不能对 $\theta$ 求导;
|
||||
> (Ⅱ)求 $\theta$ 的最大似然估计;
|
||||
> (Ⅲ)该估计量是否无偏?若无偏请修正。
|
||||
|
||||
**怎么想**:$L$ 的支撑是 $0<x_i<\theta$ ,等价于 $\theta>x_{(n)}$ 。在这个约束下 $L=\theta^{-n}$ 随 $\theta$ 增大而减小,所以取最小可行值。
|
||||
|
||||
**解**:
|
||||
|
||||
**(Ⅰ)** 单个密度 $f(x;\theta)=\dfrac1\theta\ (0<x<\theta)$ ,故
|
||||
|
||||
$$L(\theta)=\prod_{i=1}^{n}\frac1\theta\cdot\mathbf 1\{0<x_i<\theta\}=\frac{1}{\theta^{n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.$$
|
||||
|
||||
**不能求导的原因**:$\mathbf 1\{\theta>x_{(n)}\}$ 是跳跃函数,在 $\theta=x_{(n)}$ 处不可导;而且 $L$ 在可行域**内部**没有驻点($\frac{\mathrm d}{\mathrm d\theta}\theta^{-n}=-\frac{n}{\theta^{n+1}}\ne0$ ),求导令零会得到"无解"。
|
||||
|
||||
**(Ⅱ)** 在可行域 $\theta>x_{(n)}$ 上,$L=\theta^{-n}$ **关于 $\theta$ 严格递减**,所以取最小的可行 $\theta$ :
|
||||
|
||||
$$\hat\theta=X_{(n)} .$$
|
||||
|
||||
(严格说似然在 $\theta=x_{(n)}$ 处取到上确界,故 MLE 为 $X_{(n)}$ 。)
|
||||
|
||||
**(Ⅲ)** 由点 1 题 3,$EX_{(n)}=\dfrac{n}{n+1}\theta<\theta$ ,**有偏**。修正:
|
||||
|
||||
$$\tilde\theta=\frac{n+1}{n}X_{(n)},\qquad E\tilde\theta=\theta .$$
|
||||
|
||||
**验算**:$n=1$ 时 $\hat\theta=X_1$ ,$EX_1=\frac{\theta}{2}\ne\theta$ ,偏得最厉害;$n\to\infty$ 时 $\frac{n}{n+1}\to1$ ,偏差消失——这与"$X_{(n)}$ 相合"一致。
|
||||
|
||||
**带走结论**:**看到支撑带参数,立刻放弃求导**。判断规则只有一条:**$L$ 的单调方向决定取哪个端点**。$U(0,\theta)$ 型(上端含参数)取 $X_{(n)}$ ,$U(\theta,1)$ 型(下端含参数)取 $X_{(1)}$ 。**而 $X_{(n)}$ 永远偏小**,所以修正系数总是"大于 $1$ "。
|
||||
|
||||
> **关联** · 盘点 [§5.2 支撑含参数(唯一不能求导的情形)](01-知识点盘点.md#user-content-52-支撑含参数唯一不能求导的情形) | 上游 — | 下游 [点 5 题 4](06-点5-最大似然估计.md#user-content-题-4--52平方型密度与无偏修正) | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
|
||||
|
||||
---
|
||||
|
||||
### 题 4 · 5.2:平方型密度与无偏修正(★★★)
|
||||
|
||||
> 设总体 $X$ 的概率密度为
|
||||
>
|
||||
> $$f(x;\theta)=\begin{cases}\dfrac{3x^{2}}{\theta^{3}}, & 0<x<\theta,\\ 0, & \text{其他},\end{cases}\qquad \theta>0\ \text{未知}.$$
|
||||
>
|
||||
> $X_1,\dots,X_n$ 为简单随机样本,$X_{(n)}=\max\{X_i\}$ 。
|
||||
>
|
||||
> (Ⅰ)求 $\theta$ 的最大似然估计 $\hat\theta$ ;
|
||||
> (Ⅱ)求 $E X_{(n)}$ ,并据此构造 $\theta$ 的无偏估计;
|
||||
> (Ⅲ)若用矩估计法,$\theta$ 的估计量是什么?与(Ⅰ)是否相同?
|
||||
|
||||
**怎么想**:(Ⅰ)密度里 $\theta$ 出现在分母的幂上,但**支撑里同样有 $\theta$ 这个参数** ,所以仍属"求导无效"那一类——先写 $L$ 再判断单调。(Ⅱ)$X_{(n)}$ 的分布要先求 $F(x)=\frac{x^3}{\theta^3}$ 。(Ⅲ)一阶矩 $EX=\frac34\theta$ 。
|
||||
|
||||
**解**:
|
||||
|
||||
**(Ⅰ)** 似然函数
|
||||
|
||||
$$L(\theta)=\prod_{i=1}^{n}\frac{3x_i^{2}}{\theta^{3}}\cdot\mathbf 1\{\theta>x_{(n)}\}=\frac{3^{n}\prod x_i^{2}}{\theta^{3n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.$$
|
||||
|
||||
在可行域 $\theta>x_{(n)}$ 上,$L$ 关于 $\theta$ **严格递减**($\theta^{-3n}$ 是减函数),故取最小可行值:
|
||||
|
||||
$$\hat\theta=X_{(n)} .$$
|
||||
|
||||
**(Ⅱ)** 先求分布函数:$F(x)=\displaystyle\int_0^{x}\frac{3t^2}{\theta^3}\,\mathrm dt=\frac{x^{3}}{\theta^{3}}\ (0<x<\theta)$ 。于是
|
||||
|
||||
$$F_{X_{(n)}}(x)=\left(\frac{x^{3}}{\theta^{3}}\right)^{n}=\frac{x^{3n}}{\theta^{3n}},\qquad f_{X_{(n)}}(x)=\frac{3n\,x^{3n-1}}{\theta^{3n}} .$$
|
||||
|
||||
$$EX_{(n)}=\int_0^{\theta}x\cdot\frac{3n x^{3n-1}}{\theta^{3n}}\,\mathrm dx=\frac{3n}{\theta^{3n}}\cdot\frac{\theta^{3n+1}}{3n+1}=\frac{3n}{3n+1}\theta .$$
|
||||
|
||||
故无偏估计为
|
||||
|
||||
$$\tilde\theta=\frac{3n+1}{3n}X_{(n)},\qquad E\tilde\theta=\theta .$$
|
||||
|
||||
**(Ⅲ)** 矩估计:$EX=\displaystyle\int_0^{\theta}x\cdot\frac{3x^2}{\theta^3}\,\mathrm dx=\frac{3}{\theta^3}\cdot\frac{\theta^{4}}{4}=\frac{3}{4}\theta$ 。令 $\frac34\theta=\bar X$ 得
|
||||
|
||||
$$\hat\theta_{\text{矩}}=\frac43\bar X .$$
|
||||
|
||||
**与(Ⅰ)不同**:MLE 用 $X_{(n)}$ (只看最大值),矩估计用 $\bar X$ (用全部信息)。两者都相合,但**方差相差一个量级**——$D X_{(n)}=O\left(\frac{\theta^2}{n^2}\right)$ ,远小于 $D\bar X=O\left(\frac{\theta^2}{n}\right)$ ,所以在这里 MLE 好得多。
|
||||
|
||||
**验算**:取 $n=1$ ,(Ⅱ)给 $E X_{(1)}=\frac{3}{4}\theta$ ,与(Ⅲ)的 $EX=\frac34\theta$ 一致 ✓;(Ⅲ)的 $\frac43\bar X$ 在 $n=1$ 时就是 $\frac43X_1$ ,无偏 ✓。
|
||||
|
||||
**带走结论**:**"支撑含参数"的题有三问是标配**:MLE(取边界)→ $EX_{(n)}$ (求 $F$ 再积分)→ 无偏修正(乘 $\frac{1}{E X_{(n)}/\theta}$ )。这三问连起来就是 2016·23 的完整结构。另外记住 $X_{(n)}$ 的方差是 $O(n^{-2})$ 级——**上界型参数的最优估计永远来自极值,不是均值**。
|
||||
|
||||
> **关联** · 盘点 [§5.2 支撑含参数(唯一不能求导的情形)](01-知识点盘点.md#user-content-52-支撑含参数唯一不能求导的情形) | 上游 [点 5 题 3](06-点5-最大似然估计.md#user-content-题-3--52均匀分布的-mle-不能求导) | 下游 — | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计)
|
||||
|
||||
---
|
||||
Reference in New Issue
Block a user