vector_summary_standard

向量摘要標準流程。當需要對本地記憶筆記進行高品質向量化處理時觸發,包括:Ollama 生成 + MiniMax 驗證、本地記憶同步、品質控管。

向量摘要標準流程

功能說明

本地記憶筆記向量化的標準工作流程,使用 Ollama 生成摘要並可選搭配 MiniMax 驗證,確保高品質向量摘要。處理完成後自動同步回本地記憶系統。

工作流程

第一步:文本切分

  • 每區塊約 250 字,以標點符號為切分點
  • 過濾低於 20 字的片段

第二步:Ollama 摘要生成

  • 使用 llama3 生成 30 字以內精簡摘要
  • 提示詞:「用30字以內摘要核心概念:{片段}」

第三步:MiniMax 驗證(可選)

  • 使用 MiniMax-M2.5 生成對照摘要
  • 比較兩版本,選擇品質較佳者

第四步:向量化

  • 轉為 128 維向量並歸一化

第五步:本地儲存

  • 儲存至 ~/Desktop/vector-db/{page_id}.json

第六步:本地記憶同步

  • 回寫以下欄位至本地記憶系統:
欄位內容
向量摘要摘要文字(500 字內)
向量狀態已向量化(標準流程)
語義標籤Chunk_{數量}
重點首要摘要(50 字)
應用分類標籤

工具指引

# 確保 Ollama 運行
ollama serve

# 標準流程(Ollama)
python scripts/vector_summary_v2.py

# 驗證版(Ollama + MiniMax)
python scripts/vector_summary_verify.py

品質標準

項目標準
摘要長度不超過 30 字
區塊數量1-11 個
向量維度128 維
狀態標記已向量化(標準流程)

錯誤處理

情境處理方式
Ollama 未啟動提示用戶執行 ollama serve
MiniMax API 失敗跳過驗證步驟,僅使用 Ollama 結果
本地同步逾時重試 3 次,失敗則僅保存本地
頁面內容為空跳過並記錄到日誌
摘要比對差異過大標記該頁面待人工審核

使用範例

  • 「用標準流程處理本地記憶筆記向量化」
  • 「跑一次帶 MiniMax 驗證的向量摘要」
  • 「處理所有未向量化的筆記並同步回本地記憶系統」

護欄

  • 不修改原始筆記內容
  • 每段摘要嚴格不超過 30 字
  • MiniMax API Key 不寫死在腳本中,使用環境變數
  • 向量庫本地儲存,不上傳至外部
  • 同步失敗時必須保留本地備份