- 完形专练:Text 4 重写、Text 5 换为闰秒/闰时文章,答案串去重后重新平衡 - 阅读专练:Text 1-5 批改记录 + 01-05 文章包(README/文章解读/词汇/背诵版/默写版) - 真题完形:2010 霍桑实验批改、背诵版、默写版 - 作文:可迁移句型素材库、大小作文范文、图表脚本与 PNG - 固定搭配:资源笔记、库设计、sqlite 构建脚本
139 lines
8.4 KiB
Markdown
139 lines
8.4 KiB
Markdown
# 背诵库(SQLite)方案评估
|
||
|
||
> 评估日期:2026-10-16 | 状态:**待拍板**(未动工)
|
||
> 目标:把 `背诵版.md` 的内容结构化进本地 SQLite,供查询、出题取材、错题回流使用。
|
||
> 结论摘要:**值得做,但要做成"轻量单向"——md 仍是唯一源,库只是派生出来的查询层**。一次性约 **3~4 万 tokens / 2~3 轮**;跑完**一卷**自测循环即可回本(每轮省约 60% 输入)。
|
||
|
||
---
|
||
|
||
## 一、现状盘点
|
||
|
||
### 1. 待入库的语料(11 份背诵版 + 1 份规范)
|
||
|
||
| 文件 | 字节 | 骨架类型 | 用户标注(`==…==`) |
|
||
|---|---|---|---|
|
||
| 专练/完形 01 肌肉会变成脂肪 | 12,953 | A 标准七节 | 0 |
|
||
| 专练/完形 02 陌生人的善意 | 18,136 | A 标准七节 | 0 |
|
||
| 模拟卷一 01~07(7 篇) | 6,729~9,698 | A 标准七节 | **90 处**(自测表 64 · 短语 19 · 金句 13,含跨节重复) |
|
||
| 阅读/2008-03 美国人停止长高 | 10,099 | **B 逐句英中对照**(5 段 20 句 + 每段提示) | 0 |
|
||
| 模拟卷一/整卷背诵版 | 17,208 | **C 聚合体**(每篇 8 词/4 短语/2 句) | 0 |
|
||
| 模拟卷/背诵版标注与出题规范 | 3,429 | 规范文本(非语料,只作字段依据) | — |
|
||
|
||
合计正文语料 **≈ 95 KB ≈ 3.0 万 tokens**(+整卷聚合 ≈ 0.45 万)。
|
||
|
||
### 2. 已存在的同类设施(可直接借惯例)
|
||
|
||
- `真题研究/真题库.sqlite`:4 卷真题 / 200 题 / 54 篇 —— **未入 git**(本地档),设计见 `真题研究/数据库设计.md`。
|
||
- `英语词汇/情景单词记忆/kao_yan_3.db`:**3,728 词** + 24,781 短语 + 6,045 例句 + 音标 —— 可用于给背诵词条自动补音标/例句/近义。
|
||
- 根目录 `_vcb_words.txt`(3,728 词,均已写成 `==词==`)、`_vcb_covered.txt`、`_annotate.ps1`:**目前"覆盖追踪"是靠文本清单 + PowerShell 脚本**做的 —— 这本身就是该入库的信号。
|
||
|
||
---
|
||
|
||
## 二、库设计草案(6 张表足够)
|
||
|
||
```sql
|
||
works (work_id, rel_path, title, topic, genre, exam_type, source_url, answer_key, marks_state, file_hash, updated_at)
|
||
vocab (vocab_id, work_id, en, cn, pos, ipa, collocation, is_key_blank, blank_no, section, seq) -- 自测表 + 词汇解析
|
||
phrases (phrase_id, work_id, phrase, cn, context, blank_no, section, seq) -- 必背短语·语境版
|
||
sentences (sent_id, work_id, en_cloze, cn, answers, section, seq) -- 金句挖空 + 阅读逐句体
|
||
facts (fact_id, work_id, kind, content) -- 一句话/结构/考点分布/写作借鉴/记忆点
|
||
marks (mark_id, work_id, item_type, item_ref, text, first_seen, last_seen, strike, UNIQUE(work_id,item_type,text))
|
||
quiz_items (item_id, batch, work_id, qtype, prompt, options, answer, your_answer, err_type, created_at, due_date)
|
||
```
|
||
|
||
要点:
|
||
- `marks` 是**动态表**(你每次读背诵版加的高亮),是"复习池/去重/到期复现"的唯一依据;靠 `(work_id, item_type, text)` 去重,**不需要**清空 md 里的高亮。
|
||
- `strike`(复现次数)/`due_date` 支撑间隔复现;`quiz_items.err_type` 用你现有的四类错因(搭配对象/语义方向/词义范围/词性褒贬)。
|
||
- 与 `kao_yan_3.db` **分库不动**,用 `vocab.en = words.head_word` 关联补音标例句即可。
|
||
- 与 `真题库.sqlite`(真题题目)**不合并**:语义不同,合并只会互相拖累。
|
||
|
||
---
|
||
|
||
## 三、工作拆解与难度
|
||
|
||
| 环节 | 难度 | 说明 / 坑 |
|
||
|---|---|---|
|
||
| 读样本、定字段映射 | 低 | 骨架 A 覆盖 9/11 篇,模板是我自己定的,规则稳定 |
|
||
| 解析脚本 `sync_recite.py` | **中低** | 纯规则、无 LLM:表格(自测表)、编号列表(短语)、挖空句(金句);约 300~450 行 |
|
||
| 两种另类体例 | 中 | **B 阅读逐句体**无自测表 → 映射到 `sentences`;**C 整卷聚合体**可由 A 派生 → 可只当校验视图 |
|
||
| `--check` 严格模式 | 低 | **必做**:表头写的数量与实际行数不符(如 02 巨龟标"16 词"实为 19 行)、未知小节、缺字段要告警而不是静默丢 |
|
||
| `--import-marks` 标记回流 | 中 | 读取 md 高亮 → 入 `marks` 去重;注意 `[[双链]]`、代码块、跨节重复计一次还是两次 |
|
||
| 查询/导出脚本 `query.py` | 低 | 三个固定查询:复习池到期 / 跨篇重复词 / 导出自测取材 CSV |
|
||
| 接入既有出题流程 | 中 | `背诵版标注与出题规范.md` 第 3 节工作流改为查库;skill 侧同步 |
|
||
| **反向渲染(库→md)** | **高,不建议** | 往返必丢格式(挖空 `______`、`**加粗**`、双链、表格对齐),且每篇多花 2~3k tokens |
|
||
|
||
**总体判断**:不是难活,是**细活**。真正的成本不在"写代码",而在"把 11 份人工写的 md 里的不规则处摸干净"。
|
||
|
||
---
|
||
|
||
## 四、Token 花费
|
||
|
||
### 1. 一次性(建到可用)
|
||
|
||
| 环节 | 估算 |
|
||
|---|---|
|
||
| 读 2~3 篇样本摸体例 | 入 ≈ 0.8 万 |
|
||
| schema + 本文档 | 出 ≈ 0.2 万 |
|
||
| `sync_recite.py`(标准体 9 篇) | 出 ≈ 0.6~0.9 万 |
|
||
| 调试 2~3 轮(本地跑脚本,只看报错/diff) | ≈ 0.4~0.6 万 |
|
||
| 另类体例映射(阅读逐句体 + 整卷聚合) | 入 ≈ 0.4 万 + 出 ≈ 0.3 万 |
|
||
| 抽样校验(1~2 篇逐行核对 + 查询自检) | 入 ≈ 0.6 万 |
|
||
| **合计** | **≈ 3.1~3.9 万 tokens / 2~3 轮** |
|
||
|
||
若要求 11 篇**全量人工核对**:上限 ≈ 6 万 tokens。脚本本身是确定性的,**解析过程不消耗 token**,这是成本可控的关键。
|
||
|
||
### 2. 持续(每新增一篇背诵版)
|
||
|
||
| 动作 | 花费 |
|
||
|---|---|
|
||
| 生成该篇背诵版(照旧) | 与现在相同 |
|
||
| 跑 `sync_recite.py` 入库 | **≈ 0**(本地脚本) |
|
||
| 模板改版(如今天新增"存疑空"节)需改 parser | ≈ 0.1~0.2 万/次 |
|
||
|
||
### 3. 每卷自测循环:现状 vs 入库后(模拟卷一实测量级)
|
||
|
||
| 环节 | 现状 | 入库后 |
|
||
|---|---|---|
|
||
| 取素材 | 读该卷 7 篇 + 整卷 ≈ **2.2 万** in | SQL 取标记词 90 条 + 上轮错词 + 到期词 ≈ **0.2~0.5 万** in |
|
||
| 出卷(30~45 题 + 答案) | ≈ 0.7 万 out | ≈ 0.7 万 out |
|
||
| **单轮合计** | **≈ 2.9 万** | **≈ 0.9~1.2 万** |
|
||
| **单轮节省** | — | **≈ 1.7~1.9 万(约 60%)** |
|
||
|
||
按一卷走 3 轮(标注完成→出卷 / 自测批改 / 错题回流)算,**一卷省 ≈ 5 万 tokens > 一次性成本**——即"跑完第一卷就回本",之后纯赚。
|
||
|
||
---
|
||
|
||
## 五、六个坑与对策
|
||
|
||
1. **双源不同步**(md 改了没跑脚本):`works.file_hash` + `--check` 报告过期篇目;建议在 md 末尾追加一行同步时间戳注释。
|
||
2. **二进制入库**:`.db` 不进 git(`真题库.sqlite` 现状也是本地档);若要留痕,另导出 `背诵库.sql` 文本 dump 入库,或干脆只本地留。
|
||
3. **模板漂移**:parser 严格模式,遇到未知小节/行数不符 → 告警并跳过,**绝不静默少收**。
|
||
4. **高亮回流重复**:md 里的高亮要留着给你看,靠唯一键去重即可,不要清空。
|
||
5. **表头数字不可信**:一律按实际行数计数(已发现 02 巨龟"16 词"实为 19 行)。
|
||
6. **收益有阈值**:现在只有 11 篇 / 1 卷待跑。**短期收益来自"省循环 token",长期(≥30 篇、≥5 卷循环)才来自查询价值**;若你只想偶尔查一次,直接读 md 更划算。
|
||
|
||
---
|
||
|
||
## 六、建议的最小可用版(MVP)
|
||
|
||
**第一轮就做完(不跨轮)**
|
||
|
||
1. 建 `真题研究/背诵库.sqlite` + 本评估文档转正为 `背诵库设计.md`;
|
||
2. `sync_recite.py`:解析 A 类骨架(9 篇)入库,附 `--check`、`--import-marks`;
|
||
3. `query.py`:三个固定查询(复习池到期 / 跨篇重复词 / 导出自测取材 CSV)。
|
||
|
||
**先不碰**
|
||
|
||
- 库→md 反向渲染
|
||
- Anki/CSV 花式导出
|
||
- 并入 `真题库.sqlite`
|
||
- 阅读逐句体(B 类)与整卷聚合体(C 类):先留着,等 A 类跑顺再补(B 只要映射到 `sentences` 即可)
|
||
|
||
---
|
||
|
||
## 七、待你拍板
|
||
|
||
1. 库放哪:`真题研究/背诵库.sqlite`(与真题库同目录)还是仓库根 `背诵库.sqlite`?
|
||
2. 覆盖追踪要不要顺手并进来:把 `_vcb_words.txt`(3,728 词)建 `syllabus` 表,记录"哪个词在第几篇首次出现",替代现在的 PowerShell 标注脚本?
|
||
3. 是否现在就做 MVP(我可以一轮做完 1~3),还是先把模拟卷一的词汇自测卷出了(**那 90 处标注已就绪、自测卷还没出过**)?
|