向量摘要標準流程
功能說明
本地記憶筆記向量化的標準工作流程,使用 Ollama 生成摘要並可選搭配 MiniMax 驗證,確保高品質向量摘要。處理完成後自動同步回本地記憶系統。
工作流程
第一步:文本切分
- 每區塊約 250 字,以標點符號為切分點
- 過濾低於 20 字的片段
第二步:Ollama 摘要生成
- 使用 llama3 生成 30 字以內精簡摘要
- 提示詞:「用30字以內摘要核心概念:{片段}」
第三步:MiniMax 驗證(可選)
- 使用 MiniMax-M2.5 生成對照摘要
- 比較兩版本,選擇品質較佳者
第四步:向量化
第五步:本地儲存
- 儲存至
~/Desktop/vector-db/{page_id}.json
第六步:本地記憶同步
| 欄位 | 內容 |
|---|
| 向量摘要 | 摘要文字(500 字內) |
| 向量狀態 | 已向量化(標準流程) |
| 語義標籤 | Chunk_{數量} |
| 重點 | 首要摘要(50 字) |
| 應用 | 分類標籤 |
工具指引
# 確保 Ollama 運行
ollama serve
# 標準流程(Ollama)
python scripts/vector_summary_v2.py
# 驗證版(Ollama + MiniMax)
python scripts/vector_summary_verify.py
品質標準
| 項目 | 標準 |
|---|
| 摘要長度 | 不超過 30 字 |
| 區塊數量 | 1-11 個 |
| 向量維度 | 128 維 |
| 狀態標記 | 已向量化(標準流程) |
錯誤處理
| 情境 | 處理方式 |
|---|
| Ollama 未啟動 | 提示用戶執行 ollama serve |
| MiniMax API 失敗 | 跳過驗證步驟,僅使用 Ollama 結果 |
| 本地同步逾時 | 重試 3 次,失敗則僅保存本地 |
| 頁面內容為空 | 跳過並記錄到日誌 |
| 摘要比對差異過大 | 標記該頁面待人工審核 |
使用範例
- 「用標準流程處理本地記憶筆記向量化」
- 「跑一次帶 MiniMax 驗證的向量摘要」
- 「處理所有未向量化的筆記並同步回本地記憶系統」
護欄
- 不修改原始筆記內容
- 每段摘要嚴格不超過 30 字
- MiniMax API Key 不寫死在腳本中,使用環境變數
- 向量庫本地儲存,不上傳至外部
- 同步失敗時必須保留本地備份