--- tags: [数学一, 在学练习, 概率论, 数理统计, 最大似然估计] 专题: 概率论 第6讲 · 点5 最大似然估计 日期: 2026-11-07 状态: 知识点带题(5.1 似然函数与三步、5.2 支撑含参数,共 4 题) 关联笔记: ["[[README]]", "[[01-知识点盘点]]"] --- # 点 5 最大似然估计 > **2018·23、2019·23、2020·23、2022·22 —— 十年四道大题,约 45 分**,是全讲最重的一点|重要度 ★★★ > 依赖:点 1 的联合密度。盘点对应:§5 全节。 **组织原则**:MLE 的动作极其固定,**唯一的变量是"支撑含不含参数"**。四题分两组:前两题(5.1)支撑固定,老老实实取对数求导;后两题(5.2)支撑含参数,只能看单调性。**这个分叉决定了 45 分里的 11 分能不能拿**。难度标准:★★☆ 两题、★★★ 两题。 ## 知识点 5.1 似然函数与三步(出处:[知识章 §3.2](../../../../参考仓库/Math/probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex)) $$L(\theta)=\prod_{i=1}^{n}f(x_i;\theta)\ \ (\text{离散型用}\ \prod p(x_i;\theta)),\qquad \ln L=\sum_{i=1}^{n}\ln f(x_i;\theta).$$ **三步**: 1. 写 $L(\theta)$ (**连同支撑条件一起写**); 2. 取对数 $\ln L$ (乘积变加法,指数变系数); 3. 对参数求导令零,解出 $\hat\theta$ ;**最后检查是否为最大值**(二阶导或单调性)。 **多参数**:对每个参数分别求偏导,联立解方程组。 **不变性(省一半功夫)**:若 $\hat\theta$ 是 $\theta$ 的 MLE,则对任意函数 $g$ ,$g(\hat\theta)$ 是 $g(\theta)$ 的 MLE。**所以求 $\lambda$ 的 MLE 之后,$1/\lambda$ 的 MLE 直接取倒数,不必重算。** ## 知识点 5.2 支撑含参数(出处:[知识章 §3.2](../../../../参考仓库/Math/probability-theory-and-mathematical-statistics/knowledge/5-mathematical-statistics/mathematical-statistics.tex)) 当密度的非零区间端点含参数(如 $0 **写答案时必须带一句**:"因为 $L$ 关于 $\theta$ 单调递减,且 $\theta\ge X_{(n)}$ ,故 $\hat\theta=X_{(n)}$ 。"没有这句话,阅卷按"未说明取边界"扣分。 --- ## 题目(按知识点顺序对应) ### 题 1 · 5.1:指数分布与不变性(★★☆) > 设总体 $X\sim E(\lambda)$ ($\lambda>0$ 未知),$X_1,\dots,X_n$ 为简单随机样本。 > > (Ⅰ)求 $\lambda$ 的最大似然估计 $\hat\lambda$ ; > (Ⅱ)求 $P\{X>t\}$ 的最大似然估计; > (Ⅲ)若改用矩估计法,$\lambda$ 的估计量是否相同? **怎么想**:(Ⅰ)标准三步;(Ⅱ)用不变性,把 $\hat\lambda$ 代进 $P\{X>t\}=e^{-\lambda t}$ 即可;(Ⅲ)一阶矩 $EX=\frac1\lambda$ ,与(Ⅰ)的答案应当是同一个。 **解**: **(Ⅰ)** 似然函数 $$L(\lambda)=\prod_{i=1}^{n}\lambda e^{-\lambda x_i}=\lambda^{n}e^{-\lambda\sum x_i}\quad(x_i>0).$$ 取对数: $$\ln L=n\ln\lambda-\lambda\sum_{i=1}^{n}x_i .$$ 求导令零: $$\frac{\mathrm d\ln L}{\mathrm d\lambda}=\frac{n}{\lambda}-\sum_{i=1}^{n}x_i=0\quad\Longrightarrow\quad\hat\lambda=\frac{n}{\sum\limits_{i=1}^{n}X_i}=\frac{1}{\bar X}.$$ 二阶导 $-\dfrac{n}{\lambda^2}<0$ ,确为最大值。 **(Ⅱ)** $P\{X>t\}=e^{-\lambda t}$ ,由不变性, $$\widehat{P\{X>t\}}=e^{-\hat\lambda t}=e^{-t/\bar X}.$$ **(Ⅲ)** 矩估计:$EX=\dfrac1\lambda$ ,令 $\dfrac1\lambda=\bar X$ ,得 $\hat\lambda=\dfrac{1}{\bar X}$ 。**与(Ⅰ)完全相同。** **验算**:两法同解并不偶然——指数分布是**单参数指数族**,其矩估计与 MLE 在多数情形下重合(拉普拉斯分布、正态的 $\mu$ 也如此)。但**不是普遍规律**:本题第 2、4 题里两法就不同。 **带走结论**:**先取对数再求导**是指数型密度的捷径,因为 $\ln$ 把 $\prod$ 变成 $\sum$ 、把 $e^{-\lambda\sum x_i}$ 变成 $-\lambda\sum x_i$ 。另外**不变性可以层层传递**:算出 $\hat\lambda$ 后,任何 $\lambda$ 的函数($e^{-\lambda t}$ 、$\frac1\lambda$ 、$\lambda^2$ )的 MLE 都是把 $\hat\lambda$ 代进去。 > **关联** · 盘点 [§5.1 似然函数与三步](01-知识点盘点.md#user-content-51-似然函数与三步) | 上游 — | 下游 [点 5 题 2](06-点5-最大似然估计.md#user-content-题-2--51两组不同参数的泊松) | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计) --- ### 题 2 · 5.1:两组不同参数的泊松(★★☆) > 设 $X_1,\dots,X_n$ 来自参数为 $\theta$ 的泊松分布,$Y_1,\dots,Y_m$ 来自参数为 $2\theta$ 的泊松分布,两样本相互独立,$\theta>0$ 未知。 > > (Ⅰ)求 $\theta$ 的最大似然估计 $\hat\theta$ ; > (Ⅱ)判断 $\hat\theta$ 是否无偏; > (Ⅲ)若把第二个总体的参数改成 $k\theta$ ($k>0$ 已知),$\hat\theta$ 变成什么? **怎么想**:两组样本共用同一个 $\theta$ ,所以**联合似然要乘在一起**——这是本题唯一的难点。取对数后 $\theta$ 只以 $\ln\theta$ 与 $\theta$ 两种形式出现,求导很干净。 **解**: **(Ⅰ)** 似然函数(两个总体的联合): $$L(\theta)=\prod_{i=1}^{n}\frac{\theta^{x_i}e^{-\theta}}{x_i!}\cdot\prod_{j=1}^{m}\frac{(2\theta)^{y_j}e^{-2\theta}}{y_j!}=\frac{\theta^{\sum x_i+\sum y_j}\,2^{\sum y_j}\,e^{-(n+2m)\theta}}{\prod x_i!\prod y_j!}.$$ 取对数(丢掉与 $\theta$ 无关的常数): $$\ln L=\left(\sum x_i+\sum y_j\right)\ln\theta-(n+2m)\theta+C.$$ 求导令零: $$\frac{\mathrm d\ln L}{\mathrm d\theta}=\frac{\sum x_i+\sum y_j}{\theta}-(n+2m)=0\quad\Longrightarrow\quad \hat\theta=\frac{\sum\limits_{i=1}^{n}X_i+\sum\limits_{j=1}^{m}Y_j}{n+2m}.$$ **(Ⅱ)** 由 $EX_i=\theta$ 、$EY_j=2\theta$ , $$E\hat\theta=\frac{n\theta+m\cdot2\theta}{n+2m}=\frac{(n+2m)\theta}{n+2m}=\theta .$$ 故 $\hat\theta$ **无偏**。 **(Ⅲ)** 把 $2$ 换成 $k$ 重走一遍:$e^{-(n+km)\theta}$ ,求导得 $$\hat\theta=\frac{\sum x_i+\sum y_j}{n+km}.$$ **验算**:$k=1$ 时退化为"\(n+m\) 个同分布泊松"的 $\hat\theta=\dfrac{\sum x+\sum y}{n+m}$ ✓;$k=1$ 且 $m=0$ 时退化为 $\hat\theta=\bar X$ ✓。 **带走结论**:**"两组样本、一个参数"的题,答案永远是"分子加总、分母加权"** :分母是 $\sum n_i k_i$ ,其中 $k_i$ 是该组参数与 $\theta$ 的比例。这个结构在无偏性上也自动成立,所以**这类 MLE 常常恰好无偏**(因为似然是两部分信息的加权平均)。 > **关联** · 盘点 [§5.1 似然函数与三步](01-知识点盘点.md#user-content-51-似然函数与三步) | 上游 [点 5 题 1](06-点5-最大似然估计.md#user-content-题-1--51指数分布与不变性) | 下游 — | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计) --- ### 题 3 · 5.2:均匀分布的 MLE 不能求导(★★☆) > 设 $X_1,\dots,X_n$ 来自 $U(0,\theta)$ ,$\theta>0$ 未知,$X_{(n)}=\max\{X_i\}$ 。 > > (Ⅰ)写出似然函数,并说明为什么不能对 $\theta$ 求导; > (Ⅱ)求 $\theta$ 的最大似然估计; > (Ⅲ)该估计量是否无偏?若无偏请修正。 **怎么想**:$L$ 的支撑是 $0x_{(n)}$ 。在这个约束下 $L=\theta^{-n}$ 随 $\theta$ 增大而减小,所以取最小可行值。 **解**: **(Ⅰ)** 单个密度 $f(x;\theta)=\dfrac1\theta\ (0x_{(n)}\}.$$ **不能求导的原因**:$\mathbf 1\{\theta>x_{(n)}\}$ 是跳跃函数,在 $\theta=x_{(n)}$ 处不可导;而且 $L$ 在可行域**内部**没有驻点($\frac{\mathrm d}{\mathrm d\theta}\theta^{-n}=-\frac{n}{\theta^{n+1}}\ne0$ ),求导令零会得到"无解"。 **(Ⅱ)** 在可行域 $\theta>x_{(n)}$ 上,$L=\theta^{-n}$ **关于 $\theta$ 严格递减**,所以取最小的可行 $\theta$ : $$\hat\theta=X_{(n)} .$$ (严格说似然在 $\theta=x_{(n)}$ 处取到上确界,故 MLE 为 $X_{(n)}$ 。) **(Ⅲ)** 由点 1 题 3,$EX_{(n)}=\dfrac{n}{n+1}\theta<\theta$ ,**有偏**。修正: $$\tilde\theta=\frac{n+1}{n}X_{(n)},\qquad E\tilde\theta=\theta .$$ **验算**:$n=1$ 时 $\hat\theta=X_1$ ,$EX_1=\frac{\theta}{2}\ne\theta$ ,偏得最厉害;$n\to\infty$ 时 $\frac{n}{n+1}\to1$ ,偏差消失——这与"$X_{(n)}$ 相合"一致。 **带走结论**:**看到支撑带参数,立刻放弃求导**。判断规则只有一条:**$L$ 的单调方向决定取哪个端点**。$U(0,\theta)$ 型(上端含参数)取 $X_{(n)}$ ,$U(\theta,1)$ 型(下端含参数)取 $X_{(1)}$ 。**而 $X_{(n)}$ 永远偏小**,所以修正系数总是"大于 $1$ "。 > **关联** · 盘点 [§5.2 支撑含参数(唯一不能求导的情形)](01-知识点盘点.md#user-content-52-支撑含参数唯一不能求导的情形) | 上游 — | 下游 [点 5 题 4](06-点5-最大似然估计.md#user-content-题-4--52平方型密度与无偏修正) | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计) --- ### 题 4 · 5.2:平方型密度与无偏修正(★★★) > 设总体 $X$ 的概率密度为 > > $$f(x;\theta)=\begin{cases}\dfrac{3x^{2}}{\theta^{3}}, & 00\ \text{未知}.$$ > > $X_1,\dots,X_n$ 为简单随机样本,$X_{(n)}=\max\{X_i\}$ 。 > > (Ⅰ)求 $\theta$ 的最大似然估计 $\hat\theta$ ; > (Ⅱ)求 $E X_{(n)}$ ,并据此构造 $\theta$ 的无偏估计; > (Ⅲ)若用矩估计法,$\theta$ 的估计量是什么?与(Ⅰ)是否相同? **怎么想**:(Ⅰ)密度里 $\theta$ 出现在分母的幂上,但**支撑里同样有 $\theta$ 这个参数** ,所以仍属"求导无效"那一类——先写 $L$ 再判断单调。(Ⅱ)$X_{(n)}$ 的分布要先求 $F(x)=\frac{x^3}{\theta^3}$ 。(Ⅲ)一阶矩 $EX=\frac34\theta$ 。 **解**: **(Ⅰ)** 似然函数 $$L(\theta)=\prod_{i=1}^{n}\frac{3x_i^{2}}{\theta^{3}}\cdot\mathbf 1\{\theta>x_{(n)}\}=\frac{3^{n}\prod x_i^{2}}{\theta^{3n}}\cdot\mathbf 1\{\theta>x_{(n)}\}.$$ 在可行域 $\theta>x_{(n)}$ 上,$L$ 关于 $\theta$ **严格递减**($\theta^{-3n}$ 是减函数),故取最小可行值: $$\hat\theta=X_{(n)} .$$ **(Ⅱ)** 先求分布函数:$F(x)=\displaystyle\int_0^{x}\frac{3t^2}{\theta^3}\,\mathrm dt=\frac{x^{3}}{\theta^{3}}\ (0 **关联** · 盘点 [§5.2 支撑含参数(唯一不能求导的情形)](01-知识点盘点.md#user-content-52-支撑含参数唯一不能求导的情形) | 上游 [点 5 题 3](06-点5-最大似然估计.md#user-content-题-3--52均匀分布的-mle-不能求导) | 下游 — | 速查 [五 最大似然估计](10-速查卡.md#user-content-五-最大似然估计) ---