- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡 - 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版) - 真题完形:2010 霍桑实验批改、背诵版、默写版 - 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG - 固定搭配:资源笔记、库设计、sqlite 构建脚本
10 KiB
考研英语固定搭配库设计
状态:已实施(2026-10-16 建库入库完成) 库文件:
真题研究/固定搭配库.sqlite(SQLite 3) 建库脚本:真题研究/_build_collocation_db.py(可重复运行,每次重建全表) 与真题库.sqlite的关系:两个独立的库。真题库.sqlite存试卷/文章/题目;本库存词表+真题语料+搭配命中记录,两者通过年份互相对照,不做外键耦合。
设计原则
- 词表与语料分离:
phrases存搭配条目,corpus_docs存真题全文,命中关系记在occurrences——语料可替换(换年份、换来源)而不动词表。 - 派生字段可重建:
structure/head_pos_guess/tail_class/variant_key都是从phrase文本推出来的,属于启发式,脚本重跑即刷新;不追求逐条精确,追求可批量查询。 - 中文释义预留:词表原文只有英文(CC BY-SA 4.0 源数据即如此),
cn_meaning/usage_note/importance三列先留空,待回填后可用于导出词单。 - 来源可溯:
sources表记录仓库、文件路径、许可与抓取时间。
数据来源
| 类别 | 来源 | 规模 | 许可 |
|---|---|---|---|
| 词表 | 参考仓库/公共课/英语短语库/english-phrases/lists/npee.txt(考研表) |
2936 条 | CC BY-SA 4.0 |
| 语料 | 参考仓库/公共课/英语真题/{英语一,英语二}/*.pdf |
46 份(1998–2026),按年份单卷,排除合订本避免重复计数 | 个人学习使用 |
合订本
10-22英语一真题带书签.pdf、98-09通用英语真题带书签.pdf、10-22考研英语二真题无解析.pdf已知会与单卷重复,不参与入库。
表结构
1. sources —— 来源表
| 字段 | 类型 | 说明 |
|---|---|---|
| source_id | INTEGER PK AUTOINCREMENT | 来源ID |
| list_name | TEXT | 词表名,如 考研 |
| repo / repo_url | TEXT | 仓库名与地址 |
| file_path | TEXT | 文件路径,如 lists/npee.txt |
| license / license_note | TEXT | 许可与备注 |
| entry_count | INTEGER | 入库条数 |
| retrieved_at | TEXT | 抓取时间 |
唯一约束:UNIQUE(list_name, repo, file_path)
2. phrases —— 搭配主表(核心)
| 字段 | 类型 | 说明 |
|---|---|---|
| phrase_id | INTEGER PK AUTOINCREMENT | 条目ID |
| phrase | TEXT NOT NULL | 原样条文(如 accuse sb. of、be subjected to、accuse…of) |
| normalized | TEXT NOT NULL | 归一化:小写、统一空格、弯引号转直引号 |
| variant_key | TEXT NOT NULL | 变体归组键:去掉占位符与句首 be/to 后的骨架(accuse of 与 accuse sb. of、accuse…of 归为一组) |
| head | TEXT | 首词 |
| head_pos_guess | TEXT | 首词词性猜测:be/介词/动词/形容词/名词/副词/形容词/副词/其他 |
| structure | TEXT | 结构类型(启发式):介词框架/系表结构/动/形+小品词/动词+介词/形容词+介词/名词+介词/单词/复合词/其他 |
| tail / tail_class | TEXT | 末词,及其归类:介词/小品词/其他 |
| word_count | INTEGER | 词数 |
| has_placeholder / placeholder_kind | INTEGER / TEXT | 是否含占位符,及类型(… / sb./sth. / one's) |
| source_id | INTEGER FK → sources | 来源 |
| list_name | TEXT | 词表名(预留多词表共存) |
| variant_count | INTEGER | 同 variant_key 的条目数(>1 即"同一搭配的多种写法") |
| exam_hits | INTEGER | 在真题语料中出现的总次数(启发式匹配) |
| exam_docs / first_year | TEXT / INTEGER | 命中过的卷次(如 2013英一,2019英二)/最早年份 |
| tags | TEXT | 自定义标签(如 2010完形错题) |
| cn_meaning / usage_note / importance | TEXT / TEXT / INTEGER | 预留:中文义、用法说明、重要度 1–5 |
| review_status | TEXT | 复习状态,默认 未复习 |
| created_at | TEXT | 入库时间 |
唯一约束:UNIQUE(phrase, list_name)
索引:head、variant_key、structure、exam_hits
3. corpus_docs —— 真题语料表
| 字段 | 类型 | 说明 |
|---|---|---|
| doc_id | INTEGER PK AUTOINCREMENT | 卷次ID |
| exam_year / exam_type | INTEGER / TEXT | 年份、英语一/英语二 |
| source_file | TEXT | 来源 PDF 文件名 |
| word_count / char_count | INTEGER | 词数、字符数 |
| text | TEXT | 全文(PDF 文本层抽取、空白归一) |
唯一约束:UNIQUE(exam_year, exam_type)
4. occurrences —— 命中记录表(证据层)
| 字段 | 类型 | 说明 |
|---|---|---|
| occ_id | INTEGER PK AUTOINCREMENT | 记录ID |
| phrase_id | INTEGER FK → phrases | 命中的搭配 |
| doc_id | INTEGER FK → corpus_docs | 命中的卷次 |
| matched_text | TEXT | 实际匹配到的文字(验证用) |
| sentence | TEXT | 所在句子(截断 320 字符) |
每条搭配最多留 3 条样本句,但
exam_hits记的是真实全部命中次数(单卷同条最多计 8 次,防止极端重复拉高权重)。
匹配规则(启发式,非精确解析)
构造正则时做了四类宽容处理:
- 占位符:
sb.→sb./someone/somebody/us/him/her/them…;sth.→sth./something/it/them/that;one's/sb.'s→[a-z]+'s;…→ 1–3 个单词的宾语槽。 - 句首 be:
be→be/is/are/was/were/been/being/am。 - 首词动词变形:首词判为动词时,展开
-s/-es/-ed/-d/-ing(含去 e、辅音双写)等常见形式(accuse of能匹配accused of)。 - do 代替式:单独的
do→do/does/did/done/doing(匹配be fit to do这类)。
已知局限:不处理不规则动词(take→took 匹配不到)、不跨句、… 宾语槽最长 3 词。因此 exam_hits 应看作下界,用于排序参考而非精确统计。
视图
| 视图 | 用途 |
|---|---|
v_particle_stats |
按 tail_class + 末词 统计条数——看哪些小品词最集中 |
v_structure_stats |
按结构类型统计条数 |
v_variants |
同一搭配的多种书写形式(n>1),用于学习时去重 |
v_exam_phrases |
在真题中出现过的搭配,按命中次数降序——复习优先级的主依据 |
v_todo_cn |
待补中文义的条目 |
常用查询
-- 1) 真题里出现过、且出现 3 次以上的搭配(优先背这些)
SELECT phrase, exam_hits, exam_docs FROM v_exam_phrases WHERE exam_hits >= 3;
-- 2) 含 up 的动词短语(按小品词分组背)
SELECT phrase FROM phrases WHERE tail_class='小品词' AND tail='up' ORDER BY exam_hits DESC;
-- 3) 同一搭配的多种写法(去重后再背,避免重复劳动)
SELECT * FROM v_variants WHERE variant_key LIKE '%accus%';
-- 4) 我 2010 完形做错的那几个,在历年真题里出现过几次
SELECT phrase, exam_hits, exam_docs FROM phrases WHERE tags='2010完形错题';
-- 5) 看某条命中的原句(验证匹配是否可信)
SELECT p.phrase, d.exam_year, d.exam_type, o.sentence
FROM occurrences o JOIN phrases p USING(phrase_id) JOIN corpus_docs d USING(doc_id)
WHERE p.phrase='account for';
入库实况(脚本已验证)
| 项 | 值 |
|---|---|
| 库大小 | 2296 KB |
phrases |
2936 条(唯一约束内零重复) |
corpus_docs |
46 份真题(英语一 1998–2026 共 29 份;英语二 2010–2026 共 17 份) |
occurrences |
1844 条命中样本(每条最多留 3 句) |
| 真题命中搭配 | 964 条(32.8%),命中总次数 3969 |
| 变体组 | 存在多形式的搭配(如 accuse of / accuse sb. of / accuse…of) |
结构分布:动词+介词 900(30.7%)|介词框架 601(20.5%)|动/形+小品词 571(19.4%)|其他 525(17.9%)|系表结构 227(7.7%)|单词/复合词 57|形容词+介词 31|名词+介词 11|其他末类 13
各结构"真题命中率":形容词/副词+介词 86%|副词+介词 83%|形容词+介词 65%|名词+介词 55%|介词框架 47%|动词+介词 36%|动/形+小品词 27%|系表结构 16%|单词/复合词 5%
⚠️
exam_hits排序的陷阱(实测):直接按次数降序,头部是according to(206)、more than(110)、rather than(69)、for example(64)——全是功能短语,不是需要攻的非透明搭配。 必须叠加结构过滤才可用,例如:SELECT phrase, exam_hits FROM phrases WHERE exam_hits>=2 AND structure IN ('动/形+小品词','系表结构') ORDER BY exam_hits DESC; -- 得 80 条:think about(16)、make up(11)、find out(7)、stand out(7)…
抽样验证(用户 2010 完形错题 4 个,在 46 卷语料中的命中)
| 搭配 | 命中次数 | 卷次(前几例) |
|---|---|---|
as long as |
9 | 2002英一、2003英一、2016英二… |
on the contrary |
6 | 1998英一、2001英一、2003英一… |
so long as |
3 | 2010英一、2013英一、2016英二 |
contrary to |
3 | 2010英一、2015英二、2019英二 |
be subject to |
1 | 2012英一 |
end up doing |
0 | — |
说明两件事:① 错的 4 个里 3 个确实是真题在用的语言,验证了"该背";②
end up doing在真题语料里 0 次——考点频次 ≠ 语料频次,exam_hits只能当排序参考,不能当"考不考"的判断。
后续扩展
- 补中文义:交叉
KyleBing/english-vocabulary(含词组+释义)自动匹配,匹配不上的人工补,填cn_meaning。 - 导词单:按
exam_hits排序 → 导出欧路词典/Anki 可导入格式(每行一条)。 - 扩词表:
list_name字段已预留,可把六级/专四等表并入同库,用WHERE list_name='考研'过滤。 - 对接收词:把专练/模拟卷里的非透明搭配(用户自建卡)也写进
phrases,tags标注来源,形成"真题库+自建库"合体。 - 语料扩充:把
真题库.sqlite的 2025/2026 文章、以及更多年份并入corpus_docs后重跑脚本即可刷新exam_hits。