- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡 - 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版) - 真题完形:2010 霍桑实验批改、背诵版、默写版 - 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG - 固定搭配:资源笔记、库设计、sqlite 构建脚本
8.4 KiB
8.4 KiB
背诵库(SQLite)方案评估
评估日期:2026-10-16 | 状态:待拍板(未动工) 目标:把
背诵版.md的内容结构化进本地 SQLite,供查询、出题取材、错题回流使用。 结论摘要:值得做,但要做成"轻量单向"——md 仍是唯一源,库只是派生出来的查询层。一次性约 3~4 万 tokens / 2~3 轮;跑完一卷自测循环即可回本(每轮省约 60% 输入)。
一、现状盘点
1. 待入库的语料(11 份背诵版 + 1 份规范)
| 文件 | 字节 | 骨架类型 | 用户标注(==…==) |
|---|---|---|---|
| 专练/完形 01 肌肉会变成脂肪 | 12,953 | A 标准七节 | 0 |
| 专练/完形 02 陌生人的善意 | 18,136 | A 标准七节 | 0 |
| 模拟卷一 01~07(7 篇) | 6,729~9,698 | A 标准七节 | 90 处(自测表 64 · 短语 19 · 金句 13,含跨节重复) |
| 阅读/2008-03 美国人停止长高 | 10,099 | B 逐句英中对照(5 段 20 句 + 每段提示) | 0 |
| 模拟卷一/整卷背诵版 | 17,208 | C 聚合体(每篇 8 词/4 短语/2 句) | 0 |
| 模拟卷/背诵版标注与出题规范 | 3,429 | 规范文本(非语料,只作字段依据) | — |
合计正文语料 ≈ 95 KB ≈ 3.0 万 tokens(+整卷聚合 ≈ 0.45 万)。
2. 已存在的同类设施(可直接借惯例)
真题研究/真题库.sqlite:4 卷真题 / 200 题 / 54 篇 —— 未入 git(本地档),设计见真题研究/数据库设计.md。英语词汇/情景单词记忆/kao_yan_3.db:3,728 词 + 24,781 短语 + 6,045 例句 + 音标 —— 可用于给背诵词条自动补音标/例句/近义。- 根目录
_vcb_words.txt(3,728 词,均已写成==词==)、_vcb_covered.txt、_annotate.ps1:目前"覆盖追踪"是靠文本清单 + PowerShell 脚本做的 —— 这本身就是该入库的信号。
二、库设计草案(6 张表足够)
works (work_id, rel_path, title, topic, genre, exam_type, source_url, answer_key, marks_state, file_hash, updated_at)
vocab (vocab_id, work_id, en, cn, pos, ipa, collocation, is_key_blank, blank_no, section, seq) -- 自测表 + 词汇解析
phrases (phrase_id, work_id, phrase, cn, context, blank_no, section, seq) -- 必背短语·语境版
sentences (sent_id, work_id, en_cloze, cn, answers, section, seq) -- 金句挖空 + 阅读逐句体
facts (fact_id, work_id, kind, content) -- 一句话/结构/考点分布/写作借鉴/记忆点
marks (mark_id, work_id, item_type, item_ref, text, first_seen, last_seen, strike, UNIQUE(work_id,item_type,text))
quiz_items (item_id, batch, work_id, qtype, prompt, options, answer, your_answer, err_type, created_at, due_date)
要点:
marks是动态表(你每次读背诵版加的高亮),是"复习池/去重/到期复现"的唯一依据;靠(work_id, item_type, text)去重,不需要清空 md 里的高亮。strike(复现次数)/due_date支撑间隔复现;quiz_items.err_type用你现有的四类错因(搭配对象/语义方向/词义范围/词性褒贬)。- 与
kao_yan_3.db分库不动,用vocab.en = words.head_word关联补音标例句即可。 - 与
真题库.sqlite(真题题目)不合并:语义不同,合并只会互相拖累。
三、工作拆解与难度
| 环节 | 难度 | 说明 / 坑 |
|---|---|---|
| 读样本、定字段映射 | 低 | 骨架 A 覆盖 9/11 篇,模板是我自己定的,规则稳定 |
解析脚本 sync_recite.py |
中低 | 纯规则、无 LLM:表格(自测表)、编号列表(短语)、挖空句(金句);约 300~450 行 |
| 两种另类体例 | 中 | B 阅读逐句体无自测表 → 映射到 sentences;C 整卷聚合体可由 A 派生 → 可只当校验视图 |
--check 严格模式 |
低 | 必做:表头写的数量与实际行数不符(如 02 巨龟标"16 词"实为 19 行)、未知小节、缺字段要告警而不是静默丢 |
--import-marks 标记回流 |
中 | 读取 md 高亮 → 入 marks 去重;注意 [[双链]]、代码块、跨节重复计一次还是两次 |
查询/导出脚本 query.py |
低 | 三个固定查询:复习池到期 / 跨篇重复词 / 导出自测取材 CSV |
| 接入既有出题流程 | 中 | 背诵版标注与出题规范.md 第 3 节工作流改为查库;skill 侧同步 |
| 反向渲染(库→md) | 高,不建议 | 往返必丢格式(挖空 ______、**加粗**、双链、表格对齐),且每篇多花 2~3k tokens |
总体判断:不是难活,是细活。真正的成本不在"写代码",而在"把 11 份人工写的 md 里的不规则处摸干净"。
四、Token 花费
1. 一次性(建到可用)
| 环节 | 估算 |
|---|---|
| 读 2~3 篇样本摸体例 | 入 ≈ 0.8 万 |
| schema + 本文档 | 出 ≈ 0.2 万 |
sync_recite.py(标准体 9 篇) |
出 ≈ 0.6~0.9 万 |
| 调试 2~3 轮(本地跑脚本,只看报错/diff) | ≈ 0.4~0.6 万 |
| 另类体例映射(阅读逐句体 + 整卷聚合) | 入 ≈ 0.4 万 + 出 ≈ 0.3 万 |
| 抽样校验(1~2 篇逐行核对 + 查询自检) | 入 ≈ 0.6 万 |
| 合计 | ≈ 3.1 |
若要求 11 篇全量人工核对:上限 ≈ 6 万 tokens。脚本本身是确定性的,解析过程不消耗 token,这是成本可控的关键。
2. 持续(每新增一篇背诵版)
| 动作 | 花费 |
|---|---|
| 生成该篇背诵版(照旧) | 与现在相同 |
跑 sync_recite.py 入库 |
≈ 0(本地脚本) |
| 模板改版(如今天新增"存疑空"节)需改 parser | ≈ 0.1~0.2 万/次 |
3. 每卷自测循环:现状 vs 入库后(模拟卷一实测量级)
| 环节 | 现状 | 入库后 |
|---|---|---|
| 取素材 | 读该卷 7 篇 + 整卷 ≈ 2.2 万 in | SQL 取标记词 90 条 + 上轮错词 + 到期词 ≈ 0.2~0.5 万 in |
| 出卷(30~45 题 + 答案) | ≈ 0.7 万 out | ≈ 0.7 万 out |
| 单轮合计 | ≈ 2.9 万 | ≈ 0.9~1.2 万 |
| 单轮节省 | — | ≈ 1.7~1.9 万(约 60%) |
按一卷走 3 轮(标注完成→出卷 / 自测批改 / 错题回流)算,一卷省 ≈ 5 万 tokens > 一次性成本——即"跑完第一卷就回本",之后纯赚。
五、六个坑与对策
- 双源不同步(md 改了没跑脚本):
works.file_hash+--check报告过期篇目;建议在 md 末尾追加一行同步时间戳注释。 - 二进制入库:
.db不进 git(真题库.sqlite现状也是本地档);若要留痕,另导出背诵库.sql文本 dump 入库,或干脆只本地留。 - 模板漂移:parser 严格模式,遇到未知小节/行数不符 → 告警并跳过,绝不静默少收。
- 高亮回流重复:md 里的高亮要留着给你看,靠唯一键去重即可,不要清空。
- 表头数字不可信:一律按实际行数计数(已发现 02 巨龟"16 词"实为 19 行)。
- 收益有阈值:现在只有 11 篇 / 1 卷待跑。短期收益来自"省循环 token",长期(≥30 篇、≥5 卷循环)才来自查询价值;若你只想偶尔查一次,直接读 md 更划算。
六、建议的最小可用版(MVP)
第一轮就做完(不跨轮)
- 建
真题研究/背诵库.sqlite+ 本评估文档转正为背诵库设计.md; sync_recite.py:解析 A 类骨架(9 篇)入库,附--check、--import-marks;query.py:三个固定查询(复习池到期 / 跨篇重复词 / 导出自测取材 CSV)。
先不碰
- 库→md 反向渲染
- Anki/CSV 花式导出
- 并入
真题库.sqlite - 阅读逐句体(B 类)与整卷聚合体(C 类):先留着,等 A 类跑顺再补(B 只要映射到
sentences即可)
七、待你拍板
- 库放哪:
真题研究/背诵库.sqlite(与真题库同目录)还是仓库根背诵库.sqlite? - 覆盖追踪要不要顺手并进来:把
_vcb_words.txt(3,728 词)建syllabus表,记录"哪个词在第几篇首次出现",替代现在的 PowerShell 标注脚本? - 是否现在就做 MVP(我可以一轮做完 1~3),还是先把模拟卷一的词汇自测卷出了(那 90 处标注已就绪、自测卷还没出过)?