完形 4/5 篇重建,阅读专练五篇批改与五件套,作文素材库
- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡 - 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版) - 真题完形:2010 霍桑实验批改、背诵版、默写版 - 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG - 固定搭配:资源笔记、库设计、sqlite 构建脚本
This commit is contained in:
+175
@@ -0,0 +1,175 @@
|
||||
# 考研英语固定搭配库设计
|
||||
|
||||
> 状态:**已实施**(2026-10-16 建库入库完成)
|
||||
> 库文件:`真题研究/固定搭配库.sqlite`(SQLite 3)
|
||||
> 建库脚本:`真题研究/_build_collocation_db.py`(可重复运行,每次重建全表)
|
||||
> 与 `真题库.sqlite` 的关系:**两个独立的库**。`真题库.sqlite` 存试卷/文章/题目;本库存**词表+真题语料+搭配命中记录**,两者通过年份互相对照,不做外键耦合。
|
||||
|
||||
## 设计原则
|
||||
|
||||
1. **词表与语料分离**:`phrases` 存搭配条目,`corpus_docs` 存真题全文,命中关系记在 `occurrences`——语料可替换(换年份、换来源)而不动词表。
|
||||
2. **派生字段可重建**:`structure` / `head_pos_guess` / `tail_class` / `variant_key` 都是从 `phrase` 文本推出来的,属于**启发式**,脚本重跑即刷新;不追求逐条精确,追求可批量查询。
|
||||
3. **中文释义预留**:词表原文**只有英文**(CC BY-SA 4.0 源数据即如此),`cn_meaning` / `usage_note` / `importance` 三列先留空,待回填后可用于导出词单。
|
||||
4. **来源可溯**:`sources` 表记录仓库、文件路径、许可与抓取时间。
|
||||
|
||||
## 数据来源
|
||||
|
||||
| 类别 | 来源 | 规模 | 许可 |
|
||||
|---|---|---|---|
|
||||
| 词表 | `参考仓库/公共课/英语短语库/english-phrases/lists/npee.txt`(考研表) | 2936 条 | CC BY-SA 4.0 |
|
||||
| 语料 | `参考仓库/公共课/英语真题/{英语一,英语二}/*.pdf` | 46 份(1998–2026),按年份单卷,**排除合订本**避免重复计数 | 个人学习使用 |
|
||||
|
||||
> 合订本 `10-22英语一真题带书签.pdf`、`98-09通用英语真题带书签.pdf`、`10-22考研英语二真题无解析.pdf` 已知会与单卷重复,**不参与入库**。
|
||||
|
||||
## 表结构
|
||||
|
||||
### 1. sources —— 来源表
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|---|---|---|
|
||||
| source_id | INTEGER PK AUTOINCREMENT | 来源ID |
|
||||
| list_name | TEXT | 词表名,如 `考研` |
|
||||
| repo / repo_url | TEXT | 仓库名与地址 |
|
||||
| file_path | TEXT | 文件路径,如 `lists/npee.txt` |
|
||||
| license / license_note | TEXT | 许可与备注 |
|
||||
| entry_count | INTEGER | 入库条数 |
|
||||
| retrieved_at | TEXT | 抓取时间 |
|
||||
|
||||
唯一约束:`UNIQUE(list_name, repo, file_path)`
|
||||
|
||||
### 2. phrases —— 搭配主表(核心)
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|---|---|---|
|
||||
| phrase_id | INTEGER PK AUTOINCREMENT | 条目ID |
|
||||
| phrase | TEXT NOT NULL | **原样条文**(如 `accuse sb. of`、`be subjected to`、`accuse…of`) |
|
||||
| normalized | TEXT NOT NULL | 归一化:小写、统一空格、弯引号转直引号 |
|
||||
| variant_key | TEXT NOT NULL | **变体归组键**:去掉占位符与句首 `be/to` 后的骨架(`accuse of` 与 `accuse sb. of`、`accuse…of` 归为一组) |
|
||||
| head | TEXT | 首词 |
|
||||
| head_pos_guess | TEXT | 首词词性**猜测**:`be`/`介词`/`动词`/`形容词`/`名词`/`副词`/`形容词/副词`/`其他` |
|
||||
| structure | TEXT | 结构类型(启发式):`介词框架`/`系表结构`/`动/形+小品词`/`动词+介词`/`形容词+介词`/`名词+介词`/`单词/复合词`/`其他` |
|
||||
| tail / tail_class | TEXT | 末词,及其归类:`介词`/`小品词`/`其他` |
|
||||
| word_count | INTEGER | 词数 |
|
||||
| has_placeholder / placeholder_kind | INTEGER / TEXT | 是否含占位符,及类型(`…` / `sb./sth.` / `one's`) |
|
||||
| source_id | INTEGER FK → sources | 来源 |
|
||||
| list_name | TEXT | 词表名(预留多词表共存) |
|
||||
| variant_count | INTEGER | 同 `variant_key` 的条目数(>1 即"同一搭配的多种写法") |
|
||||
| exam_hits | INTEGER | **在真题语料中出现的总次数**(启发式匹配) |
|
||||
| exam_docs / first_year | TEXT / INTEGER | 命中过的卷次(如 `2013英一,2019英二`)/最早年份 |
|
||||
| tags | TEXT | 自定义标签(如 `2010完形错题`) |
|
||||
| cn_meaning / usage_note / importance | TEXT / TEXT / INTEGER | **预留**:中文义、用法说明、重要度 1–5 |
|
||||
| review_status | TEXT | 复习状态,默认 `未复习` |
|
||||
| created_at | TEXT | 入库时间 |
|
||||
|
||||
唯一约束:`UNIQUE(phrase, list_name)`
|
||||
索引:`head`、`variant_key`、`structure`、`exam_hits`
|
||||
|
||||
### 3. corpus_docs —— 真题语料表
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|---|---|---|
|
||||
| doc_id | INTEGER PK AUTOINCREMENT | 卷次ID |
|
||||
| exam_year / exam_type | INTEGER / TEXT | 年份、`英语一`/`英语二` |
|
||||
| source_file | TEXT | 来源 PDF 文件名 |
|
||||
| word_count / char_count | INTEGER | 词数、字符数 |
|
||||
| text | TEXT | 全文(PDF 文本层抽取、空白归一) |
|
||||
|
||||
唯一约束:`UNIQUE(exam_year, exam_type)`
|
||||
|
||||
### 4. occurrences —— 命中记录表(证据层)
|
||||
|
||||
| 字段 | 类型 | 说明 |
|
||||
|---|---|---|
|
||||
| occ_id | INTEGER PK AUTOINCREMENT | 记录ID |
|
||||
| phrase_id | INTEGER FK → phrases | 命中的搭配 |
|
||||
| doc_id | INTEGER FK → corpus_docs | 命中的卷次 |
|
||||
| matched_text | TEXT | 实际匹配到的文字(验证用) |
|
||||
| sentence | TEXT | 所在句子(截断 320 字符) |
|
||||
|
||||
> 每条搭配**最多留 3 条样本句**,但 `exam_hits` 记的是真实全部命中次数(单卷同条最多计 8 次,防止极端重复拉高权重)。
|
||||
|
||||
## 匹配规则(启发式,非精确解析)
|
||||
|
||||
构造正则时做了四类宽容处理:
|
||||
|
||||
1. **占位符**:`sb.` → `sb./someone/somebody/us/him/her/them…`;`sth.` → `sth./something/it/them/that`;`one's` / `sb.'s` → `[a-z]+'s`;`…` → 1–3 个单词的宾语槽。
|
||||
2. **句首 be**:`be` → `be/is/are/was/were/been/being/am`。
|
||||
3. **首词动词变形**:首词判为动词时,展开 `-s/-es/-ed/-d/-ing`(含去 e、辅音双写)等常见形式(`accuse of` 能匹配 `accused of`)。
|
||||
4. **do 代替式**:单独的 `do` → `do/does/did/done/doing`(匹配 `be fit to do` 这类)。
|
||||
|
||||
**已知局限**:不处理不规则动词(`take→took` 匹配不到)、不跨句、`…` 宾语槽最长 3 词。因此 `exam_hits` 应看作**下界**,用于排序参考而非精确统计。
|
||||
|
||||
## 视图
|
||||
|
||||
| 视图 | 用途 |
|
||||
|---|---|
|
||||
| `v_particle_stats` | 按 `tail_class + 末词` 统计条数——看哪些小品词最集中 |
|
||||
| `v_structure_stats` | 按结构类型统计条数 |
|
||||
| `v_variants` | 同一搭配的多种书写形式(`n>1`),用于学习时去重 |
|
||||
| `v_exam_phrases` | **在真题中出现过的搭配**,按命中次数降序——复习优先级的主依据 |
|
||||
| `v_todo_cn` | 待补中文义的条目 |
|
||||
|
||||
## 常用查询
|
||||
|
||||
```sql
|
||||
-- 1) 真题里出现过、且出现 3 次以上的搭配(优先背这些)
|
||||
SELECT phrase, exam_hits, exam_docs FROM v_exam_phrases WHERE exam_hits >= 3;
|
||||
|
||||
-- 2) 含 up 的动词短语(按小品词分组背)
|
||||
SELECT phrase FROM phrases WHERE tail_class='小品词' AND tail='up' ORDER BY exam_hits DESC;
|
||||
|
||||
-- 3) 同一搭配的多种写法(去重后再背,避免重复劳动)
|
||||
SELECT * FROM v_variants WHERE variant_key LIKE '%accus%';
|
||||
|
||||
-- 4) 我 2010 完形做错的那几个,在历年真题里出现过几次
|
||||
SELECT phrase, exam_hits, exam_docs FROM phrases WHERE tags='2010完形错题';
|
||||
|
||||
-- 5) 看某条命中的原句(验证匹配是否可信)
|
||||
SELECT p.phrase, d.exam_year, d.exam_type, o.sentence
|
||||
FROM occurrences o JOIN phrases p USING(phrase_id) JOIN corpus_docs d USING(doc_id)
|
||||
WHERE p.phrase='account for';
|
||||
```
|
||||
|
||||
## 入库实况(脚本已验证)
|
||||
|
||||
| 项 | 值 |
|
||||
|---|---|
|
||||
| 库大小 | 2296 KB |
|
||||
| `phrases` | **2936** 条(唯一约束内零重复) |
|
||||
| `corpus_docs` | **46** 份真题(英语一 1998–2026 共 29 份;英语二 2010–2026 共 17 份) |
|
||||
| `occurrences` | 1844 条命中样本(每条最多留 3 句) |
|
||||
| 真题命中搭配 | **964 条(32.8%)**,命中总次数 3969 |
|
||||
| 变体组 | 存在多形式的搭配(如 `accuse of` / `accuse sb. of` / `accuse…of`) |
|
||||
|
||||
**结构分布**:动词+介词 900(30.7%)|介词框架 601(20.5%)|动/形+小品词 571(19.4%)|其他 525(17.9%)|系表结构 227(7.7%)|单词/复合词 57|形容词+介词 31|名词+介词 11|其他末类 13
|
||||
|
||||
**各结构"真题命中率"**:形容词/副词+介词 86%|副词+介词 83%|形容词+介词 65%|名词+介词 55%|介词框架 47%|动词+介词 36%|动/形+小品词 27%|系表结构 16%|单词/复合词 5%
|
||||
|
||||
> ⚠️ **`exam_hits` 排序的陷阱(实测)**:直接按次数降序,头部是 `according to`(206)、`more than`(110)、`rather than`(69)、`for example`(64)——**全是功能短语,不是需要攻的非透明搭配**。
|
||||
> 必须叠加结构过滤才可用,例如:
|
||||
> ```sql
|
||||
> SELECT phrase, exam_hits FROM phrases
|
||||
> WHERE exam_hits>=2 AND structure IN ('动/形+小品词','系表结构')
|
||||
> ORDER BY exam_hits DESC; -- 得 80 条:think about(16)、make up(11)、find out(7)、stand out(7)…
|
||||
> ```
|
||||
|
||||
**抽样验证(用户 2010 完形错题 4 个,在 46 卷语料中的命中)**
|
||||
|
||||
| 搭配 | 命中次数 | 卷次(前几例) |
|
||||
|---|---|---|
|
||||
| `as long as` | 9 | 2002英一、2003英一、2016英二… |
|
||||
| `on the contrary` | 6 | 1998英一、2001英一、2003英一… |
|
||||
| `so long as` | 3 | **2010英一**、2013英一、2016英二 |
|
||||
| `contrary to` | 3 | **2010英一**、2015英二、2019英二 |
|
||||
| `be subject to` | 1 | 2012英一 |
|
||||
| `end up doing` | **0** | — |
|
||||
|
||||
> 说明两件事:① 错的 4 个里 3 个确实是真题在用的语言,验证了"该背";② `end up doing` 在真题**语料**里 0 次——**考点频次 ≠ 语料频次**,`exam_hits` 只能当排序参考,不能当"考不考"的判断。
|
||||
|
||||
## 后续扩展
|
||||
|
||||
1. **补中文义**:交叉 `KyleBing/english-vocabulary`(含词组+释义)自动匹配,匹配不上的人工补,填 `cn_meaning`。
|
||||
2. **导词单**:按 `exam_hits` 排序 → 导出欧路词典/Anki 可导入格式(`每行一条`)。
|
||||
3. **扩词表**:`list_name` 字段已预留,可把六级/专四等表并入同库,用 `WHERE list_name='考研'` 过滤。
|
||||
4. **对接收词**:把专练/模拟卷里的非透明搭配(用户自建卡)也写进 `phrases`,`tags` 标注来源,形成"真题库+自建库"合体。
|
||||
5. **语料扩充**:把 `真题库.sqlite` 的 2025/2026 文章、以及更多年份并入 `corpus_docs` 后重跑脚本即可刷新 `exam_hits`。
|
||||
Reference in New Issue
Block a user