Files
EnglishNotes/真题研究/背诵库方案评估.md
Yimu 54e4ecae16 完形 4/5 篇重建,阅读专练五篇批改与五件套,作文素材库
- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡
- 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版)
- 真题完形:2010 霍桑实验批改、背诵版、默写版
- 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG
- 固定搭配:资源笔记、库设计、sqlite 构建脚本
2026-10-20 22:11:58 +08:00

139 lines
8.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 背诵库(SQLite)方案评估
> 评估日期:2026-10-16 | 状态:**待拍板**(未动工)
> 目标:把 `背诵版.md` 的内容结构化进本地 SQLite,供查询、出题取材、错题回流使用。
> 结论摘要:**值得做,但要做成"轻量单向"——md 仍是唯一源,库只是派生出来的查询层**。一次性约 **3~4 万 tokens / 2~3 轮**;跑完**一卷**自测循环即可回本(每轮省约 60% 输入)。
---
## 一、现状盘点
### 1. 待入库的语料(11 份背诵版 + 1 份规范)
| 文件 | 字节 | 骨架类型 | 用户标注(`==…==`) |
|---|---|---|---|
| 专练/完形 01 肌肉会变成脂肪 | 12,953 | A 标准七节 | 0 |
| 专练/完形 02 陌生人的善意 | 18,136 | A 标准七节 | 0 |
| 模拟卷一 01~07(7 篇) | 6,729~9,698 | A 标准七节 | **90 处**(自测表 64 · 短语 19 · 金句 13,含跨节重复) |
| 阅读/2008-03 美国人停止长高 | 10,099 | **B 逐句英中对照**(5 段 20 句 + 每段提示) | 0 |
| 模拟卷一/整卷背诵版 | 17,208 | **C 聚合体**(每篇 8 词/4 短语/2 句) | 0 |
| 模拟卷/背诵版标注与出题规范 | 3,429 | 规范文本(非语料,只作字段依据) | — |
合计正文语料 **≈ 95 KB ≈ 3.0 万 tokens**(+整卷聚合 ≈ 0.45 万)。
### 2. 已存在的同类设施(可直接借惯例)
- `真题研究/真题库.sqlite`:4 卷真题 / 200 题 / 54 篇 —— **未入 git**(本地档),设计见 `真题研究/数据库设计.md`。
- `英语词汇/情景单词记忆/kao_yan_3.db`:**3,728 词** + 24,781 短语 + 6,045 例句 + 音标 —— 可用于给背诵词条自动补音标/例句/近义。
- 根目录 `_vcb_words.txt`(3,728 词,均已写成 `==词==`)、`_vcb_covered.txt`、`_annotate.ps1`:**目前"覆盖追踪"是靠文本清单 + PowerShell 脚本**做的 —— 这本身就是该入库的信号。
---
## 二、库设计草案(6 张表足够)
```sql
works (work_id, rel_path, title, topic, genre, exam_type, source_url, answer_key, marks_state, file_hash, updated_at)
vocab (vocab_id, work_id, en, cn, pos, ipa, collocation, is_key_blank, blank_no, section, seq) -- 自测表 + 词汇解析
phrases (phrase_id, work_id, phrase, cn, context, blank_no, section, seq) -- 必背短语·语境版
sentences (sent_id, work_id, en_cloze, cn, answers, section, seq) -- 金句挖空 + 阅读逐句体
facts (fact_id, work_id, kind, content) -- 一句话/结构/考点分布/写作借鉴/记忆点
marks (mark_id, work_id, item_type, item_ref, text, first_seen, last_seen, strike, UNIQUE(work_id,item_type,text))
quiz_items (item_id, batch, work_id, qtype, prompt, options, answer, your_answer, err_type, created_at, due_date)
```
要点:
- `marks` 是**动态表**(你每次读背诵版加的高亮),是"复习池/去重/到期复现"的唯一依据;靠 `(work_id, item_type, text)` 去重,**不需要**清空 md 里的高亮。
- `strike`(复现次数)/`due_date` 支撑间隔复现;`quiz_items.err_type` 用你现有的四类错因(搭配对象/语义方向/词义范围/词性褒贬)。
- 与 `kao_yan_3.db` **分库不动**,用 `vocab.en = words.head_word` 关联补音标例句即可。
- 与 `真题库.sqlite`(真题题目)**不合并**:语义不同,合并只会互相拖累。
---
## 三、工作拆解与难度
| 环节 | 难度 | 说明 / 坑 |
|---|---|---|
| 读样本、定字段映射 | 低 | 骨架 A 覆盖 9/11 篇,模板是我自己定的,规则稳定 |
| 解析脚本 `sync_recite.py` | **中低** | 纯规则、无 LLM:表格(自测表)、编号列表(短语)、挖空句(金句);约 300~450 行 |
| 两种另类体例 | 中 | **B 阅读逐句体**无自测表 → 映射到 `sentences`;**C 整卷聚合体**可由 A 派生 → 可只当校验视图 |
| `--check` 严格模式 | 低 | **必做**:表头写的数量与实际行数不符(如 02 巨龟标"16 词"实为 19 行)、未知小节、缺字段要告警而不是静默丢 |
| `--import-marks` 标记回流 | 中 | 读取 md 高亮 → 入 `marks` 去重;注意 `[[双链]]`、代码块、跨节重复计一次还是两次 |
| 查询/导出脚本 `query.py` | 低 | 三个固定查询:复习池到期 / 跨篇重复词 / 导出自测取材 CSV |
| 接入既有出题流程 | 中 | `背诵版标注与出题规范.md` 第 3 节工作流改为查库;skill 侧同步 |
| **反向渲染(库→md)** | **高,不建议** | 往返必丢格式(挖空 `______`、`**加粗**`、双链、表格对齐),且每篇多花 2~3k tokens |
**总体判断**:不是难活,是**细活**。真正的成本不在"写代码",而在"把 11 份人工写的 md 里的不规则处摸干净"。
---
## 四、Token 花费
### 1. 一次性(建到可用)
| 环节 | 估算 |
|---|---|
| 读 2~3 篇样本摸体例 | 入 ≈ 0.8 万 |
| schema + 本文档 | 出 ≈ 0.2 万 |
| `sync_recite.py`(标准体 9 篇) | 出 ≈ 0.6~0.9 万 |
| 调试 2~3 轮(本地跑脚本,只看报错/diff) | ≈ 0.4~0.6 万 |
| 另类体例映射(阅读逐句体 + 整卷聚合) | 入 ≈ 0.4 万 + 出 ≈ 0.3 万 |
| 抽样校验(1~2 篇逐行核对 + 查询自检) | 入 ≈ 0.6 万 |
| **合计** | **≈ 3.1~3.9 万 tokens / 2~3 轮** |
若要求 11 篇**全量人工核对**:上限 ≈ 6 万 tokens。脚本本身是确定性的,**解析过程不消耗 token**,这是成本可控的关键。
### 2. 持续(每新增一篇背诵版)
| 动作 | 花费 |
|---|---|
| 生成该篇背诵版(照旧) | 与现在相同 |
| 跑 `sync_recite.py` 入库 | **≈ 0**(本地脚本) |
| 模板改版(如今天新增"存疑空"节)需改 parser | ≈ 0.1~0.2 万/次 |
### 3. 每卷自测循环:现状 vs 入库后(模拟卷一实测量级)
| 环节 | 现状 | 入库后 |
|---|---|---|
| 取素材 | 读该卷 7 篇 + 整卷 ≈ **2.2 万** in | SQL 取标记词 90 条 + 上轮错词 + 到期词 ≈ **0.2~0.5 万** in |
| 出卷(30~45 题 + 答案) | ≈ 0.7 万 out | ≈ 0.7 万 out |
| **单轮合计** | **≈ 2.9 万** | **≈ 0.9~1.2 万** |
| **单轮节省** | — | **≈ 1.7~1.9 万(约 60%)** |
按一卷走 3 轮(标注完成→出卷 / 自测批改 / 错题回流)算,**一卷省 ≈ 5 万 tokens > 一次性成本**——即"跑完第一卷就回本",之后纯赚。
---
## 五、六个坑与对策
1. **双源不同步**(md 改了没跑脚本):`works.file_hash` + `--check` 报告过期篇目;建议在 md 末尾追加一行同步时间戳注释。
2. **二进制入库**:`.db` 不进 git(`真题库.sqlite` 现状也是本地档);若要留痕,另导出 `背诵库.sql` 文本 dump 入库,或干脆只本地留。
3. **模板漂移**:parser 严格模式,遇到未知小节/行数不符 → 告警并跳过,**绝不静默少收**。
4. **高亮回流重复**:md 里的高亮要留着给你看,靠唯一键去重即可,不要清空。
5. **表头数字不可信**:一律按实际行数计数(已发现 02 巨龟"16 词"实为 19 行)。
6. **收益有阈值**:现在只有 11 篇 / 1 卷待跑。**短期收益来自"省循环 token",长期(≥30 篇、≥5 卷循环)才来自查询价值**;若你只想偶尔查一次,直接读 md 更划算。
---
## 六、建议的最小可用版(MVP)
**第一轮就做完(不跨轮)**
1. 建 `真题研究/背诵库.sqlite` + 本评估文档转正为 `背诵库设计.md`;
2. `sync_recite.py`:解析 A 类骨架(9 篇)入库,附 `--check`、`--import-marks`;
3. `query.py`:三个固定查询(复习池到期 / 跨篇重复词 / 导出自测取材 CSV)。
**先不碰**
- 库→md 反向渲染
- Anki/CSV 花式导出
- 并入 `真题库.sqlite`
- 阅读逐句体(B 类)与整卷聚合体(C 类):先留着,等 A 类跑顺再补(B 只要映射到 `sentences` 即可)
---
## 七、待你拍板
1. 库放哪:`真题研究/背诵库.sqlite`(与真题库同目录)还是仓库根 `背诵库.sqlite`?
2. 覆盖追踪要不要顺手并进来:把 `_vcb_words.txt`(3,728 词)建 `syllabus` 表,记录"哪个词在第几篇首次出现",替代现在的 PowerShell 标注脚本?
3. 是否现在就做 MVP(我可以一轮做完 1~3),还是先把模拟卷一的词汇自测卷出了(**那 90 处标注已就绪、自测卷还没出过**)?