跳转到主内容

使用本地 AI 模型聊天

为什么使用本地 AI 模型？​

在本地使用 AI 模型具有重要的好处：

  • 本地安全 - 你的数据保留在自己的计算机上，永不发送到外部服务器
  • 无额外费用 - 本地模型没有按使用计费的 API 成本
  • 隐私保障 - 非常适合处理敏感文档和信息

为什么选择 Ollama？​

Ollama 是一个工具，可以让你在本地轻松运行 AI 模型。它在每台计算机上单独安装，因此没有关于用户数量的限制——无需共享服务器。

安装 Ollama​

  1. 打开 Ollama 下载页
  2. 下载与你的操作系统相符的版本（Windows、macOS 或 Linux）
  3. 按照安装程序的指引安装 Ollama
  4. 安装完成后，Ollama 将自动在后台运行

安装语言模型​

在安装 Ollama 之后，至少需要下载一个语言模型：

  1. 打开 Ollama 界面（通过系统托盘图标或终端）
  2. 下载一个你选择的语言模型

推荐模型​

优先选择具有 工具能力 和 视觉能力 的模型：

  • Tool capabilities - 模型可以使用应用中提供的所有工具，例如上网搜索和生成图片
  • Vision capabilities - 模型可以分析并描述图片
推荐模型

qwen3-vl:4b 在速度与工具/视觉功能之间提供了良好平衡。通过终端安装此模型：

ollama pull qwen3-vl:4b

根据硬件选择模型​

模型的性能在很大程度上取决于你计算机的硬件：

硬件建议
有限 (8GB RAM，无 GPU)选择较小的模型（1-4B 参数）
中等 (16GB RAM，基础 GPU)模型到 7B 参数
强大 (32GB+ RAM，现代 GPU)可以使用更大的模型（13B+）
速度 vs. 质量

通常较小的模型在速度方面表现更好，但可能提供较不精确的答案。请尝试以找到适合你情况的最佳平衡。

桌面应用中的配置​

一旦 Ollama 运行并加载了模型，桌面应用会自动检测到。你可以在聊天中将本地模型作为云模型的替代来选择。

可用的具备 tool/vision 支持的模型​

查看完整列表请前往 ollama.com/library。按以下标签过滤模型：

  • Tools 标签表示具备工具能力
  • Vision 标签表示具备图像识别能力

常用选项：

  • qwen3-vl:4b - 紧凑、快速、具备 tool + vision
  • llama3.2-vision - 具备视觉能力
  • mistral - 适合快速完成常规任务
WhatsApp