vector_summary_workflow

向量摘要完整工作流 (優化版)。當需要執行端到端的向量摘要管線時觸發,包括:本地優先處理、智慧分流、Ollama + MiniMax 雙模型處理、本地向量庫管理、檢索查詢、本地記憶同步。

向量摘要完整工作流 (優化版 v2.0)

優化策略 (2026-03-01)

階段本地處理 (Ollama)雲端處理 (MiniMax)
向量化llama3 生成壓縮摘要 → 向量化只在複雜查詢時調用
RAG 檢索本地 embedding 匹配智慧分流决策
學習記憶qwen2.5:7b 初步分類最終決策/驗證
對話摘要本地壓縮對話只做重要訊息提取

核心優化

  1. 快取機制 - 重複內容不重複處理
  2. 智慧分流 - 簡單查詢本地處理,複雜問題才調用雲端
  3. 本地優先 - 雲端只處理「壓縮後的上下文」

功能說明

端到端的向量摘要管線,整合 Ollama 本地生成與 MiniMax 雲端驗證。

工作流程

第一步:文本切分

  • 每區塊約 250 字,以句號等標點切分
  • 過濾無效短片段

第二步:Ollama 摘要生成

  • 使用 llama3 本地模型快速生成摘要

第三步:MiniMax 驗證(可選)

  • 使用 MiniMax-M2.5 生成對照版本
  • 選擇品質較佳者作為最終摘要

第四步:向量化與儲存

  • 轉為 128 維向量,歸一化後儲存
  • 本地向量庫位置:~/Desktop/vector-db/
  • 每筆記錄包含:chunk_index、summary、source_chunk、embedding

第五步:本地記憶同步

  • 回寫向量摘要、向量狀態、語義標籤、重點、應用分類至本地記憶系統

第六步:檢索服務

  • 支援餘弦相似度檢索
  • 返回最相關的片段及來源筆記

工具指引

# Ollama 環境
ollama serve

# MiniMax 環境(驗證用)
export MINIMAX_API_KEY="your-key"

# 執行 Ollama 版本
python scripts/vector_summary_v2.py

# 執行 Ollama + MiniMax 驗證版
python scripts/vector_summary_verify.py

狀態標記對照

標記意義
已向量化基礎處理完成
已向量化(標準流程)Ollama 完整流程
已向量化(Ollama+MiniMax)雙模型驗證優化版

錯誤處理

情境處理方式
Ollama 服務未啟動嘗試自動啟動,失敗則提示用戶
MiniMax API Key 無效跳過驗證,僅使用 Ollama 結果並記錄警告
向量庫檔案損壞從本地記憶重新拉取原文,重建該筆記的向量
檢索無結果擴大相似度閾值或提示用戶換關鍵字
本地同步失敗保留本地結果,下次執行時重試

使用範例

  • 「執行完整向量摘要工作流」
  • 「用雙模型處理所有本地記憶筆記」
  • 「在向量庫中搜尋跟『機器學習』相關的筆記」

護欄

  • API Key 必須使用環境變數,禁止寫死在程式碼中
  • 本地向量庫不上傳至外部服務
  • 不修改原始筆記內容
  • 摘要長度不超過 30 字,區塊數量 1-11 個
  • 向量維度固定 128 維,確保檢索一致性