接上你自己的 AI

試試看

然後打開一場有逐字稿的會議，點「用 AI 分析」

設定步驟

你需要準備

• 一台模型伺服器：在同一台電腦上裝 Ollama 或 LM Studio，或是你們 IT 部門架設、支援 OpenAI chat 格式的任何服務（vLLM、llama.cpp、閘道）
• 一張記憶體夠大的顯示卡，大小要配合你選的模型（請看要選多大的模型）。沒有顯示卡也能跑，但一份通話筆記可能要等好幾分鐘
• 可以修改 Ordo 的 .env 檔，它在 Ordo 的安裝資料夾裡。改完之後要重新啟動 Ordo 才會生效

Ollama 加 Qwen，一步一步來

1. 從 ollama.com/download 下載並安裝 Ollama
2. 讓模型讀得完一整通電話：把環境變數 OLLAMA_CONTEXT_LENGTH 設成 32768，再重新啟動 Ollama。Windows 的做法：開始 →「編輯您帳戶的環境變數」→ 新增
3. 在終端機下載模型：ollama pull qwen3:8b
4. 把下面這幾行加進 Ordo 的 .env，再重新啟動 Ordo：

   AI_PROVIDER=openai-compatible
   AI_BASE_URL=http://localhost:11434/v1
   AI_MODEL=qwen3:8b

5. 打開一場有逐字稿的會議，點「用 AI 分析」。第一次回答最慢，因為模型還在載入

LM Studio

在 LM Studio 下載模型，載入時把 Context Length 設成 32768 以上。接著到Developer → Start server啟動伺服器，再填入它的位址，以及 LM Studio 列出的模型名稱：

AI_PROVIDER=openai-compatible
AI_BASE_URL=http://localhost:1234/v1
AI_MODEL=qwen3-8b

你們公司的 AI 服務或閘道

只要是支援 OpenAI chat 格式的服務，設定方式都一樣：vLLM、llama.cpp 伺服器、LiteLLM，或你們公司已經在付費使用的雲端服務。需要金鑰的話就加上去，它會用 Authorization: Bearer … 送出

AI_PROVIDER=openai-compatible
AI_BASE_URL=https://ai.yourcompany.internal/v1
AI_MODEL=qwen3-32b
AI_API_KEY=your-key

其他 AI：自己寫一個連接器

如果你們的 AI 用的是自己的 API 格式，請開發人員寫一個小小的連接器：一個 JavaScript 檔，預設匯出一個函式，收到請求後回傳答案。可以從 Ordo 資料夾裡的 connectors/example.js 開始改，它是一個可以直接執行的範例，每個部分都有說明

// connectors/my-ai.js
export default async function complete({ system, user, schema, maxTokens }) {
  // system：指示 · user：通話、網頁內容或 CRM 資料 · schema：答案必須符合的 JSON 格式
  const res = await fetch("https://ai.yourcompany.internal/generate", { method: "POST", body: JSON.stringify({ system, user, schema }) });
  return (await res.json()).output;   // JSON 物件，或 JSON 文字
}

AI_PROVIDER=custom
AI_CONNECTOR=./connectors/my-ai.js

Ordo 只會載入它一次，而且每個答案在使用之前都會先檢查。它在 Ordo 裡面執行，擁有和 Ordo 一樣的權限，所以只能用你們自己寫的程式碼

要選多大的模型

模型越大，筆記寫得越好，但需要更多顯示卡記憶體，也跑得比較慢。小模型可能會漏掉價格或日期，也可能沒辦法照 Ordo 需要的格式回答。大約 7B 以下的模型常常做不到。建議先從 8B 的模型開始，如果筆記會漏東西，再換大一點的

正式使用某個模型之前，管理員可以用同樣的設定執行 npm run check-calls。它會檢查一份範例通話的筆記：該抓到的價格、日期和承諾有沒有抓到，以及花了多久時間

出問題時

這些訊息大部分會用英文顯示

• 「Ordo can't reach the AI at http://localhost:11434/v1. Is Ollama running?」：Ordo 連不到 AI。請啟動 Ollama（或 LM Studio 的伺服器）再試一次，並確認 .env 裡的位址是對的
• 「Check AI_BASE_URL and AI_MODEL in .env.」：位址通常以 /v1 結尾，模型名稱也必須和伺服器列出的一模一樣（Ollama 可以用 ollama list 查）
• 「The AI only read part of this」或「The AI can't read all of this」：通話太長，模型的 context length（一次能讀的長度）不夠。請設成 32768 以上：Ollama 用 OLLAMA_CONTEXT_LENGTH，LM Studio 在載入模型時設定 Context Length，vLLM 用 --max-model-len
• 「The AI at … stopped before it answered」：AI 伺服器在回答前就停了，通常是模型塞不進記憶體。請換小一點的模型，或關掉其他會用到顯示卡的程式
• 「AI 回應逾時（超過 180 秒）。」：Ordo 最多等 3 分鐘。請換小一點的模型，或改用有顯示卡的電腦
• 「The AI did not return JSON」：模型沒辦法照 Ordo 需要的格式回答。請換大一點的模型

常見問題

延伸閱讀