Files
EnglishNotes/真题研究/固定搭配库设计.md
Yimu 54e4ecae16 完形 4/5 篇重建,阅读专练五篇批改与五件套,作文素材库
- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡
- 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版)
- 真题完形:2010 霍桑实验批改、背诵版、默写版
- 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG
- 固定搭配:资源笔记、库设计、sqlite 构建脚本
2026-10-20 22:11:58 +08:00

10 KiB
Raw Permalink Blame History

考研英语固定搭配库设计

状态:已实施(2026-10-16 建库入库完成) 库文件:真题研究/固定搭配库.sqlite(SQLite 3) 建库脚本:真题研究/_build_collocation_db.py(可重复运行,每次重建全表) 与 真题库.sqlite 的关系:两个独立的库。真题库.sqlite 存试卷/文章/题目;本库存词表+真题语料+搭配命中记录,两者通过年份互相对照,不做外键耦合。

设计原则

  1. 词表与语料分离:phrases 存搭配条目,corpus_docs 存真题全文,命中关系记在 occurrences——语料可替换(换年份、换来源)而不动词表。
  2. 派生字段可重建:structure / head_pos_guess / tail_class / variant_key 都是从 phrase 文本推出来的,属于启发式,脚本重跑即刷新;不追求逐条精确,追求可批量查询。
  3. 中文释义预留:词表原文只有英文(CC BY-SA 4.0 源数据即如此),cn_meaning / usage_note / importance 三列先留空,待回填后可用于导出词单。
  4. 来源可溯:sources 表记录仓库、文件路径、许可与抓取时间。

数据来源

类别 来源 规模 许可
词表 参考仓库/公共课/英语短语库/english-phrases/lists/npee.txt(考研表) 2936 条 CC BY-SA 4.0
语料 参考仓库/公共课/英语真题/{英语一,英语二}/*.pdf 46 份(1998–2026),按年份单卷,排除合订本避免重复计数 个人学习使用

合订本 10-22英语一真题带书签.pdf、98-09通用英语真题带书签.pdf、10-22考研英语二真题无解析.pdf 已知会与单卷重复,不参与入库。

表结构

1. sources —— 来源表

字段 类型 说明
source_id INTEGER PK AUTOINCREMENT 来源ID
list_name TEXT 词表名,如 考研
repo / repo_url TEXT 仓库名与地址
file_path TEXT 文件路径,如 lists/npee.txt
license / license_note TEXT 许可与备注
entry_count INTEGER 入库条数
retrieved_at TEXT 抓取时间

唯一约束:UNIQUE(list_name, repo, file_path)

2. phrases —— 搭配主表(核心)

字段 类型 说明
phrase_id INTEGER PK AUTOINCREMENT 条目ID
phrase TEXT NOT NULL 原样条文(如 accuse sb. of、be subjected to、accuse…of)
normalized TEXT NOT NULL 归一化:小写、统一空格、弯引号转直引号
variant_key TEXT NOT NULL 变体归组键:去掉占位符与句首 be/to 后的骨架(accuse of 与 accuse sb. of、accuse…of 归为一组)
head TEXT 首词
head_pos_guess TEXT 首词词性猜测:be/介词/动词/形容词/名词/副词/形容词/副词/其他
structure TEXT 结构类型(启发式):介词框架/系表结构/动/形+小品词/动词+介词/形容词+介词/名词+介词/单词/复合词/其他
tail / tail_class TEXT 末词,及其归类:介词/小品词/其他
word_count INTEGER 词数
has_placeholder / placeholder_kind INTEGER / TEXT 是否含占位符,及类型(… / sb./sth. / one's)
source_id INTEGER FK → sources 来源
list_name TEXT 词表名(预留多词表共存)
variant_count INTEGER 同 variant_key 的条目数(>1 即"同一搭配的多种写法")
exam_hits INTEGER 在真题语料中出现的总次数(启发式匹配)
exam_docs / first_year TEXT / INTEGER 命中过的卷次(如 2013英一,2019英二)/最早年份
tags TEXT 自定义标签(如 2010完形错题)
cn_meaning / usage_note / importance TEXT / TEXT / INTEGER 预留:中文义、用法说明、重要度 1–5
review_status TEXT 复习状态,默认 未复习
created_at TEXT 入库时间

唯一约束:UNIQUE(phrase, list_name) 索引:head、variant_key、structure、exam_hits

3. corpus_docs —— 真题语料表

字段 类型 说明
doc_id INTEGER PK AUTOINCREMENT 卷次ID
exam_year / exam_type INTEGER / TEXT 年份、英语一/英语二
source_file TEXT 来源 PDF 文件名
word_count / char_count INTEGER 词数、字符数
text TEXT 全文(PDF 文本层抽取、空白归一)

唯一约束:UNIQUE(exam_year, exam_type)

4. occurrences —— 命中记录表(证据层)

字段 类型 说明
occ_id INTEGER PK AUTOINCREMENT 记录ID
phrase_id INTEGER FK → phrases 命中的搭配
doc_id INTEGER FK → corpus_docs 命中的卷次
matched_text TEXT 实际匹配到的文字(验证用)
sentence TEXT 所在句子(截断 320 字符)

每条搭配最多留 3 条样本句,但 exam_hits 记的是真实全部命中次数(单卷同条最多计 8 次,防止极端重复拉高权重)。

匹配规则(启发式,非精确解析)

构造正则时做了四类宽容处理:

  1. 占位符:sb. → sb./someone/somebody/us/him/her/them…;sth. → sth./something/it/them/that;one's / sb.'s → [a-z]+'s;… → 1–3 个单词的宾语槽。
  2. 句首 be:be → be/is/are/was/were/been/being/am。
  3. 首词动词变形:首词判为动词时,展开 -s/-es/-ed/-d/-ing(含去 e、辅音双写)等常见形式(accuse of 能匹配 accused of)。
  4. do 代替式:单独的 do → do/does/did/done/doing(匹配 be fit to do 这类)。

已知局限:不处理不规则动词(take→took 匹配不到)、不跨句、… 宾语槽最长 3 词。因此 exam_hits 应看作下界,用于排序参考而非精确统计。

视图

视图 用途
v_particle_stats 按 tail_class + 末词 统计条数——看哪些小品词最集中
v_structure_stats 按结构类型统计条数
v_variants 同一搭配的多种书写形式(n>1),用于学习时去重
v_exam_phrases 在真题中出现过的搭配,按命中次数降序——复习优先级的主依据
v_todo_cn 待补中文义的条目

常用查询

-- 1) 真题里出现过、且出现 3 次以上的搭配(优先背这些)
SELECT phrase, exam_hits, exam_docs FROM v_exam_phrases WHERE exam_hits >= 3;

-- 2) 含 up 的动词短语(按小品词分组背)
SELECT phrase FROM phrases WHERE tail_class='小品词' AND tail='up' ORDER BY exam_hits DESC;

-- 3) 同一搭配的多种写法(去重后再背,避免重复劳动)
SELECT * FROM v_variants WHERE variant_key LIKE '%accus%';

-- 4) 我 2010 完形做错的那几个,在历年真题里出现过几次
SELECT phrase, exam_hits, exam_docs FROM phrases WHERE tags='2010完形错题';

-- 5) 看某条命中的原句(验证匹配是否可信)
SELECT p.phrase, d.exam_year, d.exam_type, o.sentence
FROM occurrences o JOIN phrases p USING(phrase_id) JOIN corpus_docs d USING(doc_id)
WHERE p.phrase='account for';

入库实况(脚本已验证)

项 值
库大小 2296 KB
phrases 2936 条(唯一约束内零重复)
corpus_docs 46 份真题(英语一 1998–2026 共 29 份;英语二 2010–2026 共 17 份)
occurrences 1844 条命中样本(每条最多留 3 句)
真题命中搭配 964 条(32.8%),命中总次数 3969
变体组 存在多形式的搭配(如 accuse of / accuse sb. of / accuse…of)

结构分布:动词+介词 900(30.7%)|介词框架 601(20.5%)|动/形+小品词 571(19.4%)|其他 525(17.9%)|系表结构 227(7.7%)|单词/复合词 57|形容词+介词 31|名词+介词 11|其他末类 13

各结构"真题命中率":形容词/副词+介词 86%|副词+介词 83%|形容词+介词 65%|名词+介词 55%|介词框架 47%|动词+介词 36%|动/形+小品词 27%|系表结构 16%|单词/复合词 5%

⚠️ exam_hits 排序的陷阱(实测):直接按次数降序,头部是 according to(206)、more than(110)、rather than(69)、for example(64)——全是功能短语,不是需要攻的非透明搭配。 必须叠加结构过滤才可用,例如:

SELECT phrase, exam_hits FROM phrases
WHERE exam_hits>=2 AND structure IN ('动/形+小品词','系表结构')
ORDER BY exam_hits DESC;      -- 得 80 条:think about(16)、make up(11)、find out(7)、stand out(7)…

抽样验证(用户 2010 完形错题 4 个,在 46 卷语料中的命中)

搭配 命中次数 卷次(前几例)
as long as 9 2002英一、2003英一、2016英二…
on the contrary 6 1998英一、2001英一、2003英一…
so long as 3 2010英一、2013英一、2016英二
contrary to 3 2010英一、2015英二、2019英二
be subject to 1 2012英一
end up doing 0 —

说明两件事:① 错的 4 个里 3 个确实是真题在用的语言,验证了"该背";② end up doing 在真题语料里 0 次——考点频次 ≠ 语料频次,exam_hits 只能当排序参考,不能当"考不考"的判断。

后续扩展

  1. 补中文义:交叉 KyleBing/english-vocabulary(含词组+释义)自动匹配,匹配不上的人工补,填 cn_meaning。
  2. 导词单:按 exam_hits 排序 → 导出欧路词典/Anki 可导入格式(每行一条)。
  3. 扩词表:list_name 字段已预留,可把六级/专四等表并入同库,用 WHERE list_name='考研' 过滤。
  4. 对接收词:把专练/模拟卷里的非透明搭配(用户自建卡)也写进 phrases,tags 标注来源,形成"真题库+自建库"合体。
  5. 语料扩充:把 真题库.sqlite 的 2025/2026 文章、以及更多年份并入 corpus_docs 后重跑脚本即可刷新 exam_hits。