接上你自己的 AI
用 On-site 的话,AI 也可以跑在你们自己的服务器上
- Ordo On-site 可以使用你们自己服务器上的 AI
- 用你们自己的模型,数据不会送到任何外部的 AI 公司
- 通话笔记、问 Ordo AI 和补全公司资料都会用它
在哪里:On-site:Ordo 文件夹里的 Ordo settings.txt
Ordo On-site 跑在你们自己的电脑或服务器上,它的 AI 也可以。你可以接上自己部署的模型(例如 Qwen),或你们公司自己的 AI 服务器。接上之后,通话笔记、补全公司资料、问 Ordo AI 和用 AI 匹配字段都会改用它,你的通话、笔记和数据都留在公司里面。你也可以用你们公司自己的密钥,接上 Anthropic 的 Claude
试试看
- Ordo settings.txt
- AI_PROVIDER=openai-compatible
- 重新启动 Ordo
然后打开一场会议,粘贴通话逐字稿,再点“用 AI 分析”。自己电脑上的模型最多可能要 3 分钟
设置步骤
选一种 AI
| 选择 | 适合 | 数据会去哪里 |
|---|---|---|
| 你们自己电脑或服务器上的模型 | 数据一定要留在公司内部的公司 | 哪里都不去,留在你们公司里 |
| Anthropic 的 Claude,用你们自己的密钥 | 想要最好的回答,又不想买硬件 | 每次 AI 请求的文字会送到 Anthropic |
| 你们自己写的程序 | 有自己 AI 服务的开发人员 | 你们的程序送到哪里,就到哪里 |
AI 一开始是关闭的。不用 AI,Ordo 的其他功能都能完整使用
设置要写在哪里
Ordo.exe 的设置都在 Ordo settings.txt 这个文件里,它就在 Ordo 文件夹里、Ordo.exe 的旁边。Ordo 第一次启动时会自动创建这个文件
- 用记事本打开 Ordo settings.txt
- 把你需要的每一行开头的
#拿掉,再修改=后面的值 - 保存,再重新启动 Ordo:关掉 Ordo 的窗口,再打开 Ordo.exe。如果 Ordo 是跟着 Windows 一起启动的,就重新开机
Ordo 只会用这个文件选的 AI。就算 Windows 里有其他程序用的 AI 密钥,Ordo 也不会用它
自己电脑上的模型:Ollama,一步一步来
Ollama 是一个免费的程序,可以在电脑上跑 AI 模型。这台电脑可以是 Ordo 的电脑,也可以是办公室里的另一台电脑
- 先检查电脑。模型需要一张显存够大的显卡(GPU)。没有显卡也能跑,但每个回答都要等好几分钟。请看要选多大的模型
- 安装 Ollama 和模型。从 ollama.com/download 下载 Windows 版的 Ollama 并安装。接着打开“开始”,输入
cmd,按 Enter,再输入ollama pull qwen3:8b - 让模型读得完一整通电话。Ollama 一开始只会读一小段文字,长的通话后面会被丢掉。请把环境变量
OLLAMA_CONTEXT_LENGTH设成32768。Windows 的做法:在开始菜单搜索“环境变量”,打开“编辑账户的环境变量”→ 新建。接着结束 Ollama(时钟旁边的图标),再重新打开 - 告诉 Ordo 要用它。在 Ordo settings.txt 里,把下面这几行开头的
#拿掉,它们在“Choice A”底下。保存,再重新启动 Ordo
如果 Ollama 装在另一台电脑上,就把AI_PROVIDER=openai-compatible AI_BASE_URL=http://localhost:11434/v1 AI_MODEL=qwen3:8blocalhost改成那台电脑的名称或 IP 地址 - 试试看。打开一场会议,粘贴通话逐字稿,再点“用 AI 分析”。自己电脑上的模型最多可能要 3 分钟。第一次回答最慢,因为模型还在加载
其他 AI 服务器:LM Studio、vLLM 或你们公司自己的
只要是支持 OpenAI chat 格式的 AI 服务器,Ordo 都能用:LM Studio、vLLM、llama.cpp、LiteLLM、Azure OpenAI、OpenRouter,或你们公司自己的网关。一样用这三行,填上服务器的地址,以及服务器列出的模型名称。服务器需要密钥的话,就加上 AI_API_KEY,Ordo 会用 Authorization: Bearer … 送出
# LM Studio: Developer › Start server, and load the model with a Context Length of 32768 or more
AI_PROVIDER=openai-compatible
AI_BASE_URL=http://localhost:1234/v1
AI_MODEL=qwen3-8b
# Your company's own AI server
AI_PROVIDER=openai-compatible
AI_BASE_URL=https://ai.yourcompany.internal/v1
AI_MODEL=qwen3-32b
AI_API_KEY=your-key
LM Studio 的做法:到 Developer › Start server 启动服务器,加载模型时把 Context Length 设成 32768 以上
Anthropic 的 Claude,用你们自己的密钥
到 console.anthropic.com 的 Settings › API keys › Create key 创建一把密钥。你们公司用多少,就付给 Anthropic 多少,一般的销售每个月大约 1 到 2 美元。接着在“Choice B”底下加上这几行,再重新启动 Ordo:
AI_PROVIDER=anthropic
ANTHROPIC_API_KEY=sk-ant-...
CRM_MODEL=claude-haiku-5-5
用 Claude 的话,每次 AI 请求的文字会送到 Anthropic
你们自己写的程序:连接器
如果你们的 AI 用的是自己的 API 格式,请开发人员写一个小小的连接器:一个 JavaScript 文件,默认导出一个函数,收到请求后回传答案。在 Ordo 文件夹里,把 connectors\example.js 复制成 connectors\my-ai.js,再改成调用你们的 AI。示例里有说明 Ordo 会送出什么、要拿回什么
// connectors/my-ai.js
export default async function complete({ system, user, schema, maxTokens }) {
// system: the instructions · user: the call, pages or CRM data · schema: the JSON the answer must match
const res = await fetch("https://ai.yourcompany.internal/generate", { method: "POST", body: JSON.stringify({ system, user, schema }) });
return (await res.json()).output; // a JSON object, or JSON text
}
接着在“Choice C”底下加上这两行:
AI_PROVIDER=custom
AI_CONNECTOR=connectors\my-ai.js
Ordo 只会加载它一次,而且每个答案在使用之前都会先检查。它在 Ordo 里面运行,拥有和 Ordo 一样的权限,所以只能用你们自己写的代码
要选多大的模型
| 显存 | 要用的模型 |
|---|---|
| 8 GB | qwen3:8b |
| 16 GB | qwen3:14b |
| 24 GB 以上 | qwen3:32b(回答最好) |
模型越大,笔记写得越好,但需要更多显存,也跑得比较慢。小模型可能会漏掉价格或日期,也可能没办法照 Ordo 需要的格式回答。大约 7B 以下的模型常常做不到。建议先从 8B 的模型开始,如果笔记会漏东西,再换大一点的
你们是从代码运行 Ordo 吗?
那么同样的几行要写在 Ordo 文件夹里的 .env 文件,而不是 Ordo settings.txt。改完之后要重新启动 Ordo。正式使用某个模型之前,请用同样的设置运行 npm run check-calls。它会检查一份示例通话的笔记:该抓到的价格、日期和承诺有没有抓到,以及花了多久时间
AI 没有响应时
这些消息大部分会用英文显示
- “这个 Ordo 尚未设置 AI。”:还没有选 AI,或某一行开头还有
#。请检查 Ordo settings.txt,再重新启动 Ordo - “Ordo can't reach the AI at http://localhost:11434/v1. Is Ollama running?”:Ordo 连不到 AI。请打开 Ollama(或 LM Studio 的服务器)再试一次,并确认
AI_BASE_URL的地址是对的 - “Check AI_BASE_URL and AI_MODEL”:地址或模型名称错了。地址通常以
/v1结尾,模型名称也必须和服务器列出的一模一样。Ollama 可以输入ollama list查模型的名称 - “The AI only read part of this”或“The AI can't read all of this”:通话太长,模型的 context length(一次能读的长度)不够。请设成 32768 以上:Ollama 用
OLLAMA_CONTEXT_LENGTH,LM Studio 在加载模型时设置 Context Length,vLLM 用--max-model-len - “The AI at … stopped before it answered”:AI 服务器在回答前就停了,通常是模型塞不进内存。请换小一点的模型,或关掉其他会用到显卡的程序
- “AI 响应超时(超过 180 秒)。”:Ordo 最多等 3 分钟。请换小一点的模型,或改用有显卡的电脑
- “The AI did not return JSON”:模型没办法照 Ordo 需要的格式回答。请换大一点的模型
常见问题
可以用哪些 AI 模型?
任何支持 OpenAI chat 格式的模型都可以,例如用 Ollama 或 LM Studio 跑的 Qwen,或你们公司自己的 AI 网关。也可以用你们公司自己的密钥接上 Claude
设置要写在哪里?
写在 Ordo settings.txt 这个文件里,它在 Ordo 文件夹里、Ordo.exe 的旁边。保存之后,再重新启动 Ordo。如果你们是从代码运行 Ordo,就改写在 .env 文件
我的数据会离开我们的服务器吗?
用你们自己的模型就不会:通话、笔记和数据都会留在你们的服务器上。用 Claude 的话,每次 AI 请求的文字会送到 Anthropic
Cloud 也可以这样用吗?
不行。Ordo Cloud 的 AI 包含在 Cloud + AI 方案里。接上自己的 AI 是 Ordo On-site 的功能