Files
EnglishNotes/真题研究/固定搭配库设计.md
Yimu 54e4ecae16 完形 4/5 篇重建,阅读专练五篇批改与五件套,作文素材库
- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡
- 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版)
- 真题完形:2010 霍桑实验批改、背诵版、默写版
- 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG
- 固定搭配:资源笔记、库设计、sqlite 构建脚本
2026-10-20 22:11:58 +08:00

176 lines
10 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 考研英语固定搭配库设计
> 状态:**已实施**(2026-10-16 建库入库完成)
> 库文件:`真题研究/固定搭配库.sqlite`(SQLite 3)
> 建库脚本:`真题研究/_build_collocation_db.py`(可重复运行,每次重建全表)
> 与 `真题库.sqlite` 的关系:**两个独立的库**。`真题库.sqlite` 存试卷/文章/题目;本库存**词表+真题语料+搭配命中记录**,两者通过年份互相对照,不做外键耦合。
## 设计原则
1. **词表与语料分离**:`phrases` 存搭配条目,`corpus_docs` 存真题全文,命中关系记在 `occurrences`——语料可替换(换年份、换来源)而不动词表。
2. **派生字段可重建**:`structure` / `head_pos_guess` / `tail_class` / `variant_key` 都是从 `phrase` 文本推出来的,属于**启发式**,脚本重跑即刷新;不追求逐条精确,追求可批量查询。
3. **中文释义预留**:词表原文**只有英文**(CC BY-SA 4.0 源数据即如此),`cn_meaning` / `usage_note` / `importance` 三列先留空,待回填后可用于导出词单。
4. **来源可溯**:`sources` 表记录仓库、文件路径、许可与抓取时间。
## 数据来源
| 类别 | 来源 | 规模 | 许可 |
|---|---|---|---|
| 词表 | `参考仓库/公共课/英语短语库/english-phrases/lists/npee.txt`(考研表) | 2936 条 | CC BY-SA 4.0 |
| 语料 | `参考仓库/公共课/英语真题/{英语一,英语二}/*.pdf` | 46 份(1998–2026),按年份单卷,**排除合订本**避免重复计数 | 个人学习使用 |
> 合订本 `10-22英语一真题带书签.pdf`、`98-09通用英语真题带书签.pdf`、`10-22考研英语二真题无解析.pdf` 已知会与单卷重复,**不参与入库**。
## 表结构
### 1. sources —— 来源表
| 字段 | 类型 | 说明 |
|---|---|---|
| source_id | INTEGER PK AUTOINCREMENT | 来源ID |
| list_name | TEXT | 词表名,如 `考研` |
| repo / repo_url | TEXT | 仓库名与地址 |
| file_path | TEXT | 文件路径,如 `lists/npee.txt` |
| license / license_note | TEXT | 许可与备注 |
| entry_count | INTEGER | 入库条数 |
| retrieved_at | TEXT | 抓取时间 |
唯一约束:`UNIQUE(list_name, repo, file_path)`
### 2. phrases —— 搭配主表(核心)
| 字段 | 类型 | 说明 |
|---|---|---|
| phrase_id | INTEGER PK AUTOINCREMENT | 条目ID |
| phrase | TEXT NOT NULL | **原样条文**(如 `accuse sb. of`、`be subjected to`、`accuse…of`) |
| normalized | TEXT NOT NULL | 归一化:小写、统一空格、弯引号转直引号 |
| variant_key | TEXT NOT NULL | **变体归组键**:去掉占位符与句首 `be/to` 后的骨架(`accuse of` 与 `accuse sb. of`、`accuse…of` 归为一组) |
| head | TEXT | 首词 |
| head_pos_guess | TEXT | 首词词性**猜测**:`be`/`介词`/`动词`/`形容词`/`名词`/`副词`/`形容词/副词`/`其他` |
| structure | TEXT | 结构类型(启发式):`介词框架`/`系表结构`/`动/形+小品词`/`动词+介词`/`形容词+介词`/`名词+介词`/`单词/复合词`/`其他` |
| tail / tail_class | TEXT | 末词,及其归类:`介词`/`小品词`/`其他` |
| word_count | INTEGER | 词数 |
| has_placeholder / placeholder_kind | INTEGER / TEXT | 是否含占位符,及类型(`…` / `sb./sth.` / `one's`) |
| source_id | INTEGER FK → sources | 来源 |
| list_name | TEXT | 词表名(预留多词表共存) |
| variant_count | INTEGER | 同 `variant_key` 的条目数(>1 即"同一搭配的多种写法") |
| exam_hits | INTEGER | **在真题语料中出现的总次数**(启发式匹配) |
| exam_docs / first_year | TEXT / INTEGER | 命中过的卷次(如 `2013英一,2019英二`)/最早年份 |
| tags | TEXT | 自定义标签(如 `2010完形错题`) |
| cn_meaning / usage_note / importance | TEXT / TEXT / INTEGER | **预留**:中文义、用法说明、重要度 1–5 |
| review_status | TEXT | 复习状态,默认 `未复习` |
| created_at | TEXT | 入库时间 |
唯一约束:`UNIQUE(phrase, list_name)`
索引:`head`、`variant_key`、`structure`、`exam_hits`
### 3. corpus_docs —— 真题语料表
| 字段 | 类型 | 说明 |
|---|---|---|
| doc_id | INTEGER PK AUTOINCREMENT | 卷次ID |
| exam_year / exam_type | INTEGER / TEXT | 年份、`英语一`/`英语二` |
| source_file | TEXT | 来源 PDF 文件名 |
| word_count / char_count | INTEGER | 词数、字符数 |
| text | TEXT | 全文(PDF 文本层抽取、空白归一) |
唯一约束:`UNIQUE(exam_year, exam_type)`
### 4. occurrences —— 命中记录表(证据层)
| 字段 | 类型 | 说明 |
|---|---|---|
| occ_id | INTEGER PK AUTOINCREMENT | 记录ID |
| phrase_id | INTEGER FK → phrases | 命中的搭配 |
| doc_id | INTEGER FK → corpus_docs | 命中的卷次 |
| matched_text | TEXT | 实际匹配到的文字(验证用) |
| sentence | TEXT | 所在句子(截断 320 字符) |
> 每条搭配**最多留 3 条样本句**,但 `exam_hits` 记的是真实全部命中次数(单卷同条最多计 8 次,防止极端重复拉高权重)。
## 匹配规则(启发式,非精确解析)
构造正则时做了四类宽容处理:
1. **占位符**:`sb.` → `sb./someone/somebody/us/him/her/them…`;`sth.` → `sth./something/it/them/that`;`one's` / `sb.'s` → `[a-z]+'s`;`…` → 1–3 个单词的宾语槽。
2. **句首 be**:`be` → `be/is/are/was/were/been/being/am`。
3. **首词动词变形**:首词判为动词时,展开 `-s/-es/-ed/-d/-ing`(含去 e、辅音双写)等常见形式(`accuse of` 能匹配 `accused of`)。
4. **do 代替式**:单独的 `do` → `do/does/did/done/doing`(匹配 `be fit to do` 这类)。
**已知局限**:不处理不规则动词(`take→took` 匹配不到)、不跨句、`…` 宾语槽最长 3 词。因此 `exam_hits` 应看作**下界**,用于排序参考而非精确统计。
## 视图
| 视图 | 用途 |
|---|---|
| `v_particle_stats` | 按 `tail_class + 末词` 统计条数——看哪些小品词最集中 |
| `v_structure_stats` | 按结构类型统计条数 |
| `v_variants` | 同一搭配的多种书写形式(`n>1`),用于学习时去重 |
| `v_exam_phrases` | **在真题中出现过的搭配**,按命中次数降序——复习优先级的主依据 |
| `v_todo_cn` | 待补中文义的条目 |
## 常用查询
```sql
-- 1) 真题里出现过、且出现 3 次以上的搭配(优先背这些)
SELECT phrase, exam_hits, exam_docs FROM v_exam_phrases WHERE exam_hits >= 3;
-- 2) 含 up 的动词短语(按小品词分组背)
SELECT phrase FROM phrases WHERE tail_class='小品词' AND tail='up' ORDER BY exam_hits DESC;
-- 3) 同一搭配的多种写法(去重后再背,避免重复劳动)
SELECT * FROM v_variants WHERE variant_key LIKE '%accus%';
-- 4) 我 2010 完形做错的那几个,在历年真题里出现过几次
SELECT phrase, exam_hits, exam_docs FROM phrases WHERE tags='2010完形错题';
-- 5) 看某条命中的原句(验证匹配是否可信)
SELECT p.phrase, d.exam_year, d.exam_type, o.sentence
FROM occurrences o JOIN phrases p USING(phrase_id) JOIN corpus_docs d USING(doc_id)
WHERE p.phrase='account for';
```
## 入库实况(脚本已验证)
| 项 | 值 |
|---|---|
| 库大小 | 2296 KB |
| `phrases` | **2936** 条(唯一约束内零重复) |
| `corpus_docs` | **46** 份真题(英语一 1998–2026 共 29 份;英语二 2010–2026 共 17 份) |
| `occurrences` | 1844 条命中样本(每条最多留 3 句) |
| 真题命中搭配 | **964 条(32.8%)**,命中总次数 3969 |
| 变体组 | 存在多形式的搭配(如 `accuse of` / `accuse sb. of` / `accuse…of`) |
**结构分布**:动词+介词 900(30.7%)|介词框架 601(20.5%)|动/形+小品词 571(19.4%)|其他 525(17.9%)|系表结构 227(7.7%)|单词/复合词 57|形容词+介词 31|名词+介词 11|其他末类 13
**各结构"真题命中率"**:形容词/副词+介词 86%|副词+介词 83%|形容词+介词 65%|名词+介词 55%|介词框架 47%|动词+介词 36%|动/形+小品词 27%|系表结构 16%|单词/复合词 5%
> ⚠️ **`exam_hits` 排序的陷阱(实测)**:直接按次数降序,头部是 `according to`(206)、`more than`(110)、`rather than`(69)、`for example`(64)——**全是功能短语,不是需要攻的非透明搭配**。
> 必须叠加结构过滤才可用,例如:
> ```sql
> SELECT phrase, exam_hits FROM phrases
> WHERE exam_hits>=2 AND structure IN ('动/形+小品词','系表结构')
> ORDER BY exam_hits DESC; -- 得 80 条:think about(16)、make up(11)、find out(7)、stand out(7)…
> ```
**抽样验证(用户 2010 完形错题 4 个,在 46 卷语料中的命中)**
| 搭配 | 命中次数 | 卷次(前几例) |
|---|---|---|
| `as long as` | 9 | 2002英一、2003英一、2016英二… |
| `on the contrary` | 6 | 1998英一、2001英一、2003英一… |
| `so long as` | 3 | **2010英一**、2013英一、2016英二 |
| `contrary to` | 3 | **2010英一**、2015英二、2019英二 |
| `be subject to` | 1 | 2012英一 |
| `end up doing` | **0** | — |
> 说明两件事:① 错的 4 个里 3 个确实是真题在用的语言,验证了"该背";② `end up doing` 在真题**语料**里 0 次——**考点频次 ≠ 语料频次**,`exam_hits` 只能当排序参考,不能当"考不考"的判断。
## 后续扩展
1. **补中文义**:交叉 `KyleBing/english-vocabulary`(含词组+释义)自动匹配,匹配不上的人工补,填 `cn_meaning`。
2. **导词单**:按 `exam_hits` 排序 → 导出欧路词典/Anki 可导入格式(`每行一条`)。
3. **扩词表**:`list_name` 字段已预留,可把六级/专四等表并入同库,用 `WHERE list_name='考研'` 过滤。
4. **对接收词**:把专练/模拟卷里的非透明搭配(用户自建卡)也写进 `phrases`,`tags` 标注来源,形成"真题库+自建库"合体。
5. **语料扩充**:把 `真题库.sqlite` 的 2025/2026 文章、以及更多年份并入 `corpus_docs` 后重跑脚本即可刷新 `exam_hits`。