Files
EnglishNotes/真题研究/背诵库方案评估.md
Yimu 54e4ecae16 完形 4/5 篇重建,阅读专练五篇批改与五件套,作文素材库
- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡
- 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版)
- 真题完形:2010 霍桑实验批改、背诵版、默写版
- 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG
- 固定搭配:资源笔记、库设计、sqlite 构建脚本
2026-10-20 22:11:58 +08:00

8.4 KiB
Raw Permalink Blame History

背诵库(SQLite)方案评估

评估日期:2026-10-16 | 状态:待拍板(未动工) 目标:把 背诵版.md 的内容结构化进本地 SQLite,供查询、出题取材、错题回流使用。 结论摘要:值得做,但要做成"轻量单向"——md 仍是唯一源,库只是派生出来的查询层。一次性约 3~4 万 tokens / 2~3 轮;跑完一卷自测循环即可回本(每轮省约 60% 输入)。


一、现状盘点

1. 待入库的语料(11 份背诵版 + 1 份规范)

文件 字节 骨架类型 用户标注(==…==)
专练/完形 01 肌肉会变成脂肪 12,953 A 标准七节 0
专练/完形 02 陌生人的善意 18,136 A 标准七节 0
模拟卷一 01~07(7 篇) 6,729~9,698 A 标准七节 90 处(自测表 64 · 短语 19 · 金句 13,含跨节重复)
阅读/2008-03 美国人停止长高 10,099 B 逐句英中对照(5 段 20 句 + 每段提示) 0
模拟卷一/整卷背诵版 17,208 C 聚合体(每篇 8 词/4 短语/2 句) 0
模拟卷/背诵版标注与出题规范 3,429 规范文本(非语料,只作字段依据) —

合计正文语料 ≈ 95 KB ≈ 3.0 万 tokens(+整卷聚合 ≈ 0.45 万)。

2. 已存在的同类设施(可直接借惯例)

  • 真题研究/真题库.sqlite:4 卷真题 / 200 题 / 54 篇 —— 未入 git(本地档),设计见 真题研究/数据库设计.md。
  • 英语词汇/情景单词记忆/kao_yan_3.db:3,728 词 + 24,781 短语 + 6,045 例句 + 音标 —— 可用于给背诵词条自动补音标/例句/近义。
  • 根目录 _vcb_words.txt(3,728 词,均已写成 ==词==)、_vcb_covered.txt、_annotate.ps1:目前"覆盖追踪"是靠文本清单 + PowerShell 脚本做的 —— 这本身就是该入库的信号。

二、库设计草案(6 张表足够)

works      (work_id, rel_path, title, topic, genre, exam_type, source_url, answer_key, marks_state, file_hash, updated_at)
vocab      (vocab_id, work_id, en, cn, pos, ipa, collocation, is_key_blank, blank_no, section, seq)   -- 自测表 + 词汇解析
phrases    (phrase_id, work_id, phrase, cn, context, blank_no, section, seq)                          -- 必背短语·语境版
sentences  (sent_id, work_id, en_cloze, cn, answers, section, seq)                                    -- 金句挖空 + 阅读逐句体
facts      (fact_id, work_id, kind, content)                                                          -- 一句话/结构/考点分布/写作借鉴/记忆点
marks      (mark_id, work_id, item_type, item_ref, text, first_seen, last_seen, strike, UNIQUE(work_id,item_type,text))
quiz_items (item_id, batch, work_id, qtype, prompt, options, answer, your_answer, err_type, created_at, due_date)

要点:

  • marks 是动态表(你每次读背诵版加的高亮),是"复习池/去重/到期复现"的唯一依据;靠 (work_id, item_type, text) 去重,不需要清空 md 里的高亮。
  • strike(复现次数)/due_date 支撑间隔复现;quiz_items.err_type 用你现有的四类错因(搭配对象/语义方向/词义范围/词性褒贬)。
  • 与 kao_yan_3.db 分库不动,用 vocab.en = words.head_word 关联补音标例句即可。
  • 与 真题库.sqlite(真题题目)不合并:语义不同,合并只会互相拖累。

三、工作拆解与难度

环节 难度 说明 / 坑
读样本、定字段映射 低 骨架 A 覆盖 9/11 篇,模板是我自己定的,规则稳定
解析脚本 sync_recite.py 中低 纯规则、无 LLM:表格(自测表)、编号列表(短语)、挖空句(金句);约 300~450 行
两种另类体例 中 B 阅读逐句体无自测表 → 映射到 sentences;C 整卷聚合体可由 A 派生 → 可只当校验视图
--check 严格模式 低 必做:表头写的数量与实际行数不符(如 02 巨龟标"16 词"实为 19 行)、未知小节、缺字段要告警而不是静默丢
--import-marks 标记回流 中 读取 md 高亮 → 入 marks 去重;注意 [[双链]]、代码块、跨节重复计一次还是两次
查询/导出脚本 query.py 低 三个固定查询:复习池到期 / 跨篇重复词 / 导出自测取材 CSV
接入既有出题流程 中 背诵版标注与出题规范.md 第 3 节工作流改为查库;skill 侧同步
反向渲染(库→md) 高,不建议 往返必丢格式(挖空 ______、**加粗**、双链、表格对齐),且每篇多花 2~3k tokens

总体判断:不是难活,是细活。真正的成本不在"写代码",而在"把 11 份人工写的 md 里的不规则处摸干净"。


四、Token 花费

1. 一次性(建到可用)

环节 估算
读 2~3 篇样本摸体例 入 ≈ 0.8 万
schema + 本文档 出 ≈ 0.2 万
sync_recite.py(标准体 9 篇) 出 ≈ 0.6~0.9 万
调试 2~3 轮(本地跑脚本,只看报错/diff) ≈ 0.4~0.6 万
另类体例映射(阅读逐句体 + 整卷聚合) 入 ≈ 0.4 万 + 出 ≈ 0.3 万
抽样校验(1~2 篇逐行核对 + 查询自检) 入 ≈ 0.6 万
合计 ≈ 3.13.9 万 tokens / 23 轮

若要求 11 篇全量人工核对:上限 ≈ 6 万 tokens。脚本本身是确定性的,解析过程不消耗 token,这是成本可控的关键。

2. 持续(每新增一篇背诵版)

动作 花费
生成该篇背诵版(照旧) 与现在相同
跑 sync_recite.py 入库 ≈ 0(本地脚本)
模板改版(如今天新增"存疑空"节)需改 parser ≈ 0.1~0.2 万/次

3. 每卷自测循环:现状 vs 入库后(模拟卷一实测量级)

环节 现状 入库后
取素材 读该卷 7 篇 + 整卷 ≈ 2.2 万 in SQL 取标记词 90 条 + 上轮错词 + 到期词 ≈ 0.2~0.5 万 in
出卷(30~45 题 + 答案) ≈ 0.7 万 out ≈ 0.7 万 out
单轮合计 ≈ 2.9 万 ≈ 0.9~1.2 万
单轮节省 — ≈ 1.7~1.9 万(约 60%)

按一卷走 3 轮(标注完成→出卷 / 自测批改 / 错题回流)算,一卷省 ≈ 5 万 tokens > 一次性成本——即"跑完第一卷就回本",之后纯赚。


五、六个坑与对策

  1. 双源不同步(md 改了没跑脚本):works.file_hash + --check 报告过期篇目;建议在 md 末尾追加一行同步时间戳注释。
  2. 二进制入库:.db 不进 git(真题库.sqlite 现状也是本地档);若要留痕,另导出 背诵库.sql 文本 dump 入库,或干脆只本地留。
  3. 模板漂移:parser 严格模式,遇到未知小节/行数不符 → 告警并跳过,绝不静默少收。
  4. 高亮回流重复:md 里的高亮要留着给你看,靠唯一键去重即可,不要清空。
  5. 表头数字不可信:一律按实际行数计数(已发现 02 巨龟"16 词"实为 19 行)。
  6. 收益有阈值:现在只有 11 篇 / 1 卷待跑。短期收益来自"省循环 token",长期(≥30 篇、≥5 卷循环)才来自查询价值;若你只想偶尔查一次,直接读 md 更划算。

六、建议的最小可用版(MVP)

第一轮就做完(不跨轮)

  1. 建 真题研究/背诵库.sqlite + 本评估文档转正为 背诵库设计.md;
  2. sync_recite.py:解析 A 类骨架(9 篇)入库,附 --check、--import-marks;
  3. query.py:三个固定查询(复习池到期 / 跨篇重复词 / 导出自测取材 CSV)。

先不碰

  • 库→md 反向渲染
  • Anki/CSV 花式导出
  • 并入 真题库.sqlite
  • 阅读逐句体(B 类)与整卷聚合体(C 类):先留着,等 A 类跑顺再补(B 只要映射到 sentences 即可)

七、待你拍板

  1. 库放哪:真题研究/背诵库.sqlite(与真题库同目录)还是仓库根 背诵库.sqlite?
  2. 覆盖追踪要不要顺手并进来:把 _vcb_words.txt(3,728 词)建 syllabus 表,记录"哪个词在第几篇首次出现",替代现在的 PowerShell 标注脚本?
  3. 是否现在就做 MVP(我可以一轮做完 1~3),还是先把模拟卷一的词汇自测卷出了(那 90 处标注已就绪、自测卷还没出过)?