- 第6讲数理统计:删旧三件套(01-考点手册 4.8 万字符 / 02-试题 / 03-解析)与 PDF, 改为 01-知识点盘点 + 02—09 八点分册 + 10-速查卡,共 10 文件 26 题 - 八点:总体样本与统计量 / 三大抽样分布 / 正态总体抽样分布 / 矩估计 / 最大似然 / 评价标准 / 区间估计 / 假设检验与两类错误 - 盘点含 §0.1 按分值、§0.2 依赖链、§0.3 符号、§0.4 AUTO 反查、§9 覆盖对照(21 条)、§10 接口 - 修复 2026-10 第3讲重构留下的死链:大题十年考点/15-点14(7 处指向已删 01-考点手册)、 知识点构建/17-背诵版第3讲(回查入口 4 处) - 知识点构建/20-背诵版第6讲:回查入口改指新文件,题源注明旧 18 题清单已失效待重出 - 同步:总览.md 第6讲目录树、知识点构建 README 题量 18 → 26
13 KiB
tags, 专题, 日期, 状态, 关联笔记
| tags | 专题 | 日期 | 状态 | 关联笔记 | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
|
概率论 第6讲 · 点5 最大似然估计 | 2026-11-07 | 知识点带题(5.1 似然函数与三步、5.2 支撑含参数,共 4 题) |
|
点 5 最大似然估计
2018·23、2019·23、2020·23、2022·22 —— 十年四道大题,约 45 分,是全讲最重的一点|重要度 ★★★ 依赖:点 1 的联合密度。盘点对应:§5 全节。
组织原则:MLE 的动作极其固定,唯一的变量是"支撑含不含参数"。四题分两组:前两题(5.1)支撑固定,老老实实取对数求导;后两题(5.2)支撑含参数,只能看单调性。这个分叉决定了 45 分里的 11 分能不能拿。难度标准:★★☆ 两题、★★★ 两题。
知识点 5.1 似然函数与三步(出处:知识章 §3.2)
L(\theta)=\prod_{i=1}^{n}f(x_i;\theta)\ \ (\text{离散型用}\ \prod p(x_i;\theta)),\qquad \ln L=\sum_{i=1}^{n}\ln f(x_i;\theta).
三步:
- 写
L(\theta)(连同支撑条件一起写); - 取对数
\ln L(乘积变加法,指数变系数); - 对参数求导令零,解出
\hat\theta;最后检查是否为最大值(二阶导或单调性)。
多参数:对每个参数分别求偏导,联立解方程组。
不变性(省一半功夫):若 \hat\theta 是 \theta 的 MLE,则对任意函数 g ,g(\hat\theta) 是 g(\theta) 的 MLE。所以求 \lambda 的 MLE 之后,1/\lambda 的 MLE 直接取倒数,不必重算。
知识点 5.2 支撑含参数(出处:知识章 §3.2)
当密度的非零区间端点含参数(如 0<x<\theta 、x\ge\mu )时,L 里出现示性函数:
L(\theta)=\theta^{-n}\cdot\mathbf 1\{0<x_{(n)}<\theta\}\quad(\text{以 }U(0,\theta)\text{ 为例}).
求导这条路彻底断了——\mathbf 1 不是可导函数。此时只能看 L 关于 \theta 的单调性:
L 的单调性 |
\hat\theta 取什么 |
|---|---|
随 \theta 增大而减小 |
取 \theta 的最小可行值(常为 X_{(n)} ) |
随 \theta 增大而增大 |
取 \theta 的最大可行值(常为 X_{(1)} ) |
判断"可行"的界:约束来自"所有 x_i 都必须落在支撑内",即 \theta\ge x_{(n)} (或 \mu\le x_{(1)} )。所以最小可行值就是 X_{(n)} 。
写答案时必须带一句:"因为
L关于\theta单调递减,且\theta\ge X_{(n)},故\hat\theta=X_{(n)}。"没有这句话,阅卷按"未说明取边界"扣分。
题目(按知识点顺序对应)
题 1 · 5.1:指数分布与不变性(★★☆)
设总体
X\sim E(\lambda)(\lambda>0未知),X_1,\dots,X_n为简单随机样本。(Ⅰ)求
\lambda的最大似然估计\hat\lambda; (Ⅱ)求P\{X>t\}的最大似然估计; (Ⅲ)若改用矩估计法,\lambda的估计量是否相同?
怎么想:(Ⅰ)标准三步;(Ⅱ)用不变性,把 \hat\lambda 代进 P\{X>t\}=e^{-\lambda t} 即可;(Ⅲ)一阶矩 EX=\frac1\lambda ,与(Ⅰ)的答案应当是同一个。
解:
(Ⅰ) 似然函数
L(\lambda)=\prod_{i=1}^{n}\lambda e^{-\lambda x_i}=\lambda^{n}e^{-\lambda\sum x_i}\quad(x_i>0).
取对数:
\ln L=n\ln\lambda-\lambda\sum_{i=1}^{n}x_i .
求导令零:
\frac{\mathrm d\ln L}{\mathrm d\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\quad\Longrightarrow\quad\hat\lambda=\frac{n}{\sum\limits_{i=1}^{n}X_i}=\frac{1}{\bar X}.
二阶导 -\dfrac{n}{\lambda^2}<0 ,确为最大值。
(Ⅱ) P\{X>t\}=e^{-\lambda t} ,由不变性,
\widehat{P\{X>t\}}=e^{-\hat\lambda t}=e^{-t/\bar X}.
(Ⅲ) 矩估计:EX=\dfrac1\lambda ,令 \dfrac1\lambda=\bar X ,得 \hat\lambda=\dfrac{1}{\bar X} 。与(Ⅰ)完全相同。
验算:两法同解并不偶然——指数分布是单参数指数族,其矩估计与 MLE 在多数情形下重合(拉普拉斯分布、正态的 \mu 也如此)。但不是普遍规律:本题第 2、4 题里两法就不同。
带走结论:先取对数再求导是指数型密度的捷径,因为 \ln 把 \prod 变成 \sum 、把 e^{-\lambda\sum x_i} 变成 -\lambda\sum x_i 。另外不变性可以层层传递:算出 \hat\lambda 后,任何 \lambda 的函数(e^{-\lambda t} 、\frac1\lambda 、\lambda^2 )的 MLE 都是把 \hat\lambda 代进去。
关联 · 盘点 §5.1 似然函数与三步 | 上游 — | 下游 点 5 题 2 | 速查 五 最大似然估计
题 2 · 5.1:两组不同参数的泊松(★★☆)
设
X_1,\dots,X_n来自参数为\theta的泊松分布,Y_1,\dots,Y_m来自参数为2\theta的泊松分布,两样本相互独立,\theta>0未知。(Ⅰ)求
\theta的最大似然估计\hat\theta; (Ⅱ)判断\hat\theta是否无偏; (Ⅲ)若把第二个总体的参数改成k\theta(k>0已知),\hat\theta变成什么?
怎么想:两组样本共用同一个 \theta ,所以联合似然要乘在一起——这是本题唯一的难点。取对数后 \theta 只以 \ln\theta 与 \theta 两种形式出现,求导很干净。
解:
(Ⅰ) 似然函数(两个总体的联合):
L(\theta)=\prod_{i=1}^{n}\frac{\theta^{x_i}e^{-\theta}}{x_i!}\cdot\prod_{j=1}^{m}\frac{(2\theta)^{y_j}e^{-2\theta}}{y_j!}=\frac{\theta^{\sum x_i+\sum y_j}\,2^{\sum y_j}\,e^{-(n+2m)\theta}}{\prod x_i!\prod y_j!}.
取对数(丢掉与 \theta 无关的常数):
\ln L=\left(\sum x_i+\sum y_j\right)\ln\theta-(n+2m)\theta+C.
求导令零:
\frac{\mathrm d\ln L}{\mathrm d\theta}=\frac{\sum x_i+\sum y_j}{\theta}-(n+2m)=0\quad\Longrightarrow\quad \hat\theta=\frac{\sum\limits_{i=1}^{n}X_i+\sum\limits_{j=1}^{m}Y_j}{n+2m}.
(Ⅱ) 由 EX_i=\theta 、EY_j=2\theta ,
E\hat\theta=\frac{n\theta+m\cdot2\theta}{n+2m}=\frac{(n+2m)\theta}{n+2m}=\theta .
故 \hat\theta 无偏。
(Ⅲ) 把 2 换成 k 重走一遍:e^{-(n+km)\theta} ,求导得
\hat\theta=\frac{\sum x_i+\sum y_j}{n+km}.
验算:k=1 时退化为"(n+m) 个同分布泊松"的 \hat\theta=\dfrac{\sum x+\sum y}{n+m} ✓;k=1 且 m=0 时退化为 \hat\theta=\bar X ✓。
带走结论:"两组样本、一个参数"的题,答案永远是"分子加总、分母加权" :分母是 \sum n_i k_i ,其中 k_i 是该组参数与 \theta 的比例。这个结构在无偏性上也自动成立,所以这类 MLE 常常恰好无偏(因为似然是两部分信息的加权平均)。
关联 · 盘点 §5.1 似然函数与三步 | 上游 点 5 题 1 | 下游 — | 速查 五 最大似然估计
题 3 · 5.2:均匀分布的 MLE 不能求导(★★☆)
设
X_1,\dots,X_n来自U(0,\theta),\theta>0未知,X_{(n)}=\max\{X_i\}。(Ⅰ)写出似然函数,并说明为什么不能对
\theta求导; (Ⅱ)求\theta的最大似然估计; (Ⅲ)该估计量是否无偏?若无偏请修正。
怎么想:L 的支撑是 0<x_i<\theta ,等价于 \theta>x_{(n)} 。在这个约束下 L=\theta^{-n} 随 \theta 增大而减小,所以取最小可行值。
解:
(Ⅰ) 单个密度 f(x;\theta)=\dfrac1\theta\ (0<x<\theta) ,故
L(\theta)=\prod_{i=1}^{n}\frac1\theta\cdot\mathbf 1\{0<x_i<\theta\}=\frac{1}{\theta^{n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.
不能求导的原因:\mathbf 1\{\theta>x_{(n)}\} 是跳跃函数,在 \theta=x_{(n)} 处不可导;而且 L 在可行域内部没有驻点(\frac{\mathrm d}{\mathrm d\theta}\theta^{-n}=-\frac{n}{\theta^{n+1}}\ne0 ),求导令零会得到"无解"。
(Ⅱ) 在可行域 \theta>x_{(n)} 上,L=\theta^{-n} 关于 \theta 严格递减,所以取最小的可行 \theta :
\hat\theta=X_{(n)} .
(严格说似然在 \theta=x_{(n)} 处取到上确界,故 MLE 为 X_{(n)} 。)
(Ⅲ) 由点 1 题 3,EX_{(n)}=\dfrac{n}{n+1}\theta<\theta ,有偏。修正:
\tilde\theta=\frac{n+1}{n}X_{(n)},\qquad E\tilde\theta=\theta .
验算:n=1 时 \hat\theta=X_1 ,EX_1=\frac{\theta}{2}\ne\theta ,偏得最厉害;n\to\infty 时 \frac{n}{n+1}\to1 ,偏差消失——这与"X_{(n)} 相合"一致。
带走结论:看到支撑带参数,立刻放弃求导。判断规则只有一条:L 的单调方向决定取哪个端点。U(0,\theta) 型(上端含参数)取 X_{(n)} ,U(\theta,1) 型(下端含参数)取 X_{(1)} 。而 X_{(n)} 永远偏小,所以修正系数总是"大于 1 "。
关联 · 盘点 §5.2 支撑含参数(唯一不能求导的情形) | 上游 — | 下游 点 5 题 4 | 速查 五 最大似然估计
题 4 · 5.2:平方型密度与无偏修正(★★★)
设总体
X的概率密度为f(x;\theta)=\begin{cases}\dfrac{3x^{2}}{\theta^{3}}, & 0<x<\theta,\\ 0, & \text{其他},\end{cases}\qquad \theta>0\ \text{未知}.
X_1,\dots,X_n为简单随机样本,X_{(n)}=\max\{X_i\}。(Ⅰ)求
\theta的最大似然估计\hat\theta; (Ⅱ)求E X_{(n)},并据此构造\theta的无偏估计; (Ⅲ)若用矩估计法,\theta的估计量是什么?与(Ⅰ)是否相同?
怎么想:(Ⅰ)密度里 \theta 出现在分母的幂上,但支撑里同样有 \theta 这个参数 ,所以仍属"求导无效"那一类——先写 L 再判断单调。(Ⅱ)X_{(n)} 的分布要先求 F(x)=\frac{x^3}{\theta^3} 。(Ⅲ)一阶矩 EX=\frac34\theta 。
解:
(Ⅰ) 似然函数
L(\theta)=\prod_{i=1}^{n}\frac{3x_i^{2}}{\theta^{3}}\cdot\mathbf 1\{\theta>x_{(n)}\}=\frac{3^{n}\prod x_i^{2}}{\theta^{3n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.
在可行域 \theta>x_{(n)} 上,L 关于 \theta 严格递减(\theta^{-3n} 是减函数),故取最小可行值:
\hat\theta=X_{(n)} .
(Ⅱ) 先求分布函数:F(x)=\displaystyle\int_0^{x}\frac{3t^2}{\theta^3}\,\mathrm dt=\frac{x^{3}}{\theta^{3}}\ (0<x<\theta) 。于是
F_{X_{(n)}}(x)=\left(\frac{x^{3}}{\theta^{3}}\right)^{n}=\frac{x^{3n}}{\theta^{3n}},\qquad f_{X_{(n)}}(x)=\frac{3n\,x^{3n-1}}{\theta^{3n}} .
EX_{(n)}=\int_0^{\theta}x\cdot\frac{3n x^{3n-1}}{\theta^{3n}}\,\mathrm dx=\frac{3n}{\theta^{3n}}\cdot\frac{\theta^{3n+1}}{3n+1}=\frac{3n}{3n+1}\theta .
故无偏估计为
\tilde\theta=\frac{3n+1}{3n}X_{(n)},\qquad E\tilde\theta=\theta .
(Ⅲ) 矩估计:EX=\displaystyle\int_0^{\theta}x\cdot\frac{3x^2}{\theta^3}\,\mathrm dx=\frac{3}{\theta^3}\cdot\frac{\theta^{4}}{4}=\frac{3}{4}\theta 。令 \frac34\theta=\bar X 得
\hat\theta_{\text{矩}}=\frac43\bar X .
与(Ⅰ)不同:MLE 用 X_{(n)} (只看最大值),矩估计用 \bar X (用全部信息)。两者都相合,但方差相差一个量级——D X_{(n)}=O\left(\frac{\theta^2}{n^2}\right) ,远小于 D\bar X=O\left(\frac{\theta^2}{n}\right) ,所以在这里 MLE 好得多。
验算:取 n=1 ,(Ⅱ)给 E X_{(1)}=\frac{3}{4}\theta ,与(Ⅲ)的 EX=\frac34\theta 一致 ✓;(Ⅲ)的 \frac43\bar X 在 n=1 时就是 \frac43X_1 ,无偏 ✓。
带走结论:"支撑含参数"的题有三问是标配:MLE(取边界)→ EX_{(n)} (求 F 再积分)→ 无偏修正(乘 \frac{1}{E X_{(n)}/\theta} )。这三问连起来就是 2016·23 的完整结构。另外记住 X_{(n)} 的方差是 O(n^{-2}) 级——上界型参数的最优估计永远来自极值,不是均值。
关联 · 盘点 §5.2 支撑含参数(唯一不能求导的情形) | 上游 点 5 题 3 | 下游 — | 速查 五 最大似然估计