Перейти к основному содержимому

Общение с локальными моделями ИИ

Почему локальные модели ИИ?​

Ollama запускает модель локально. Вход и хранение чатов используют облако и требуют интернет. Автоматического перехода на облачную модель нет.

Это относится к обычному режиму. В офлайн-режиме всё остаётся на этом компьютере: приложение работает и без интернета, а новые чаты хранятся только локально в зашифрованном виде.

Почему Ollama?​

Ollama — это инструмент, который позволяет легко запускать локальные модели ИИ. Он устанавливается на каждом компьютере отдельно, поэтому нет ограничений по количеству пользователей — не требуется общий сервер.

Установка Ollama​

  1. Перейдите на страницу загрузки Ollama Ollama download page
  2. Загрузите версию для вашей операционной системы (Windows или macOS)
  3. Установите Ollama, следуя мастеру установки
  4. После установки Ollama запускается автоматически в фоновом режиме

Установка языковой модели​

После установки Ollama нужно скачать по крайней мере одну языковую модель:

  1. Откройте интерфейс Ollama (через значок системного трея или терминал)
  2. Загрузите выбранную языковую модель

Рекомендованная модель​

По возможности выбирайте модель, которая имеет возможности инструментов и vision:

  • Tool capabilities - модель может использовать все инструменты, доступные в приложении, такие как поиск в интернете и генерация изображений
  • Vision capabilities - модель может анализировать и описывать изображения
Рекомендованная модель

qwen3-vl:4b-instruct обеспечивает хороший баланс между скоростью и возможностями инструментов/vision. Установите эту модель через терминал:

ollama pull qwen3-vl:4b-instruct

Выберите вариант -instruct: он отвечает сразу. Обычная qwen3-vl:4b перед каждым шагом долго размышляет и на ноутбуке работает во много раз медленнее. Для небольших локальных моделей приложение использует короткую инструкцию и только те инструменты, которые подходят к вашему вопросу. Если один и тот же шаг раз за разом не удаётся, ИИ останавливается и сообщает, что получилось, а что нет.

Выбор модели в зависимости от аппаратного обеспечения​

Производительность модели сильно зависит от аппаратного обеспечения вашего компьютера:

Аппаратное обеспечениеРекомендация
Ограниченное (8GB RAM, без GPU)Выбирайте меньшие модели (1-4B параметров)
Среднее (16GB RAM, базовый GPU)Модели до 7B параметров
Мощное (32GB+ RAM, современные GPU)Возможно крупные модели (13B+)
Скорость vs. качество

Меньшая модель обычно обеспечивает большую скорость, но может давать менее точные ответы. Экспериментируйте, чтобы найти наилучший баланс для вашей ситуации.

Конфигурация в настольном приложении​

После запуска Ollama с установленной моделью настольное приложение автоматически detect. Затем в чате можно выбрать локальную модель как альтернативу облачным моделям.

На начальном экране под полем ввода можно выбрать локальную модель до отправки первого сообщения. Выбранная модель используется с первого сообщения, а позже её можно изменить.

Доступные модели с поддержкой tool/vision​

Посмотрите полный список на ollama.com/library. Фильтруйте по моделям с:

  • тегом Tools для возможностей инструментов
  • тегом Vision для распознавания изображений

Популярные варианты:

  • qwen3-vl:4b-instruct - компактная, быстрая, инструмент + vision
  • llama3.2-vision - возможности Vision
  • mistral - быстрые общие задачи

Локальное чтение документов и сканов​

С локальной моделью настольное приложение читает документы на вашем компьютере. Ничего не загружается.

  • Рабочая папка: в одобренной папке ИИ читает Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) и RTF. Старые файлы .doc и .ppt читаются, только если установлен LibreOffice.
  • Сканы и фото: отсканированные страницы PDF, изображения (PNG, JPG, WebP, TIFF) и изображения в файлах Word и PowerPoint читаются с помощью распознавания текста (OCR). OCR поставляется вместе с приложением и распознаёт нидерландский, английский, немецкий и французский. В чате видно, какая страница читается; длинный скан может занять несколько минут. Из одного документа OCR читает не более 100 страниц.
  • Неуверенное распознавание: если распознавание текста неуверенное, ИИ сообщает об этом. Тогда проверьте имена, числа и суммы в оригинале. Рукописный текст, таблицы и схемы распознаются не всегда правильно.
  • Модель изображений: если выбранная модель поддерживает vision (например, qwen3-vl:4b-instruct), она сама просматривает изображения, в которых распознавание текста читает мало или неуверенно. Без GPU это занимает больше времени.
  • Фото с iPhone (HEIC): сначала сохраните их в формате JPEG или PNG.

С облачной моделью приложение тоже читает документы из рабочей папки на вашем компьютере, но прочитанный текст затем отправляется этой модели как часть разговора.

Работа без интернета, в том числе с вложениями в чате: см. Офлайн-режим.

На этой странице