首頁

LLM 設定 附加功能

視覺 LLM 校驗是附加功能,預設關閉。啟用後 pdf-fill 等工具可選擇性地把 填寫結果送給本地或 LAN 上的 LLM server (OpenAI-compat) 做品質檢查與學習。 本機 / LAN 上需有運行中的 LLM backend (Ollama / vLLM / LM Studio / jan.ai 皆可)。

1. 啟用

關閉時,所有 LLM 邏輯不會執行,pdf-fill 等工具行為等同於沒裝這個功能。

2. 連線資訊

⚠ 隱私建議:強烈建議接 地端自架 LLM Server(如 Ollama / vLLM / LM Studio),讓檔案內容只在公司內網流動。 若指向 OpenAI / Claude / Gemini 等雲端 API,所有送 LLM 校驗 / 翻譯 / 段落重排的原始文件內容都會離開公司網路, 可能違反個資法、營業秘密或客戶 NDA。地端 LLM 才能符合本平台「資料留在自己手中」的設計初衷。
雲端 OpenAI-compat 服務才需要;本地 Ollama / vLLM 留空。
秒(單次 HTTP call 上限;冷啟動 model 可能要 30-90s)

3. 模型

清單會在 點此測試連線後從 server 抓取。視覺模型 (vl/vision/llava/gemma 等) 會標 ✨。

建議gemma4:26b(預設;MoE 架構、4 張廠商表單實測 100% 準、平均 11 秒)、qwen3-vl:8b(低 VRAM 備案;~8GB、筆電部署用)。

⚠️ gemma4:e4b 對繁中人名 / 公司名多處誤判(58% 準),qwen3-vl:2b/4b 會 timeout,皆不建議。

各工具個別模型 (可選)

依工具用途指定不同模型 — 純文字翻譯可用文字模型、PDF 校驗用視覺模型。 選「(用上方預設)」就跟隨預設。重新整理清單後,新抓回的 model 會自動出現在下拉。

逐句翻譯 文字 translate-doc
純文字 chat — 中譯英、英譯中等
擷取文字(LLM 段落重排) 文字 pdf-extract-text
把 PDF 版面切斷的句子重排回來
表單自動填寫(LLM 校驗) 需視覺 pdf-fill
校驗欄位填值正確(看 PNG → 給 yes/no)
文件去識別化(LLM 補偵測) 文字 doc-deident
regex 抓不到的人名 / 職稱 / 客戶代號等 context-sensitive 案例
字數統計(LLM 摘要 / 關鍵字) 文字 pdf-wordcount
依文章內容生成 3-5 句摘要 + TOP 10 關鍵概念
註解整理(LLM 自動分組) 文字 pdf-annotations
把多筆審閱意見自動分『重大 / 一般 / 提問』三類
文件差異比對(LLM 變動摘要) 文字 doc-diff
比對行差異後,告訴使用者主要修改了哪幾條條款 / 段落

4. 各工具進階設定

下列設定各自只影響特定工具。沒在用該工具的話可保留預設。

pdf-fill

輪 (1-5);每輪是一次 LLM 來回
(0.0-1.0) — 影響自動採納門檻(UI 顯示全部)
保守規則,避免 LLM 抖動造成誤改
秒 — review loop 上限,避免死循環

translate-doc

逐句翻譯時同時送 LLM 的 worker 數(1-16,預設 4)。本機 Ollama 建議 4-8;高 VRAM 可拉到 12+;雲端 API 設小一點避免被 rate-limit

5. 除錯

儲存於 data/llm_debug/,方便排錯。會佔用磁碟空間,使用時記得手動清理。
回管理