Перейти до основного змісту

Чат із локальними моделями штучного інтелекту

Чому локальні моделі AI?​

Локальна робота з моделями AI має важливі переваги:

  • Внутрішня безпека - ваші дані залишаються на вашому комп’ютері і ніколи не надсилаються на зовнішні сервери
  • Жодних додаткових витрат - локальні моделі не мають витрат API за використання
  • Гарантована конфіденційність - ідеально для чутливих документів та інформації

Чому Ollama?​

Ollama — інструмент, який дозволяє просто запускати локальні моделі AI. Він встановлюється на кожному комп’ютері окремо, тому немає обмежень за кількістю користувачів — не потрібний спільний сервер.

Встановлення Ollama​

  1. Перейдіть на сторінку завантаження Ollama
  2. Завантажте версію для вашої операційної системи (Windows, macOS або Linux)
  3. Встановіть Ollama за допомогою майстра інсталяції
  4. Після встановлення Ollama автоматично запускається у фоновому режимі

Встановлення мовної моделі​

Після встановлення Ollama потрібно завантажити щонайменше одну мовну модель:

  1. Відкрийте інтерфейс Ollama (через піктограму системного трея або термінал)
  2. Звідти завантажте обрану мовну модель

Рекомендована модель​

За можливості вибирайте модель з можливостями tools та vision:

  • Tool capabilities - модель може користуватися усіма інструментами, доступними у застосунку, такими як пошук в Інтернеті та створення зображень
  • Vision capabilities - модель може аналізувати та описувати зображення
Рекомендована модель

qwen3-vl:4b забезпечує гармонійне поєднання швидкості та можливостей інструментів/vision. Встановіть цю модель через термінал:

ollama pull qwen3-vl:4b

Вибір моделі за апаратним забезпеченням​

Продуктивність моделі залежить від апаратного забезпечення вашого комп’ютера:

Аппаратне забезпеченняРекомендація
Обмежене (8GB RAM, без GPU)Обирайте менші моделі (1-4B параметрів)
Середнє (16GB RAM, базовий GPU)Моделі до 7B параметрів
Потужне (32GB+ RAM, сучасний GPU)Можливі більші моделі (13B+)
Швидкість vs. якість

Менша модель зазвичай швидша, але може давати менш точні відповіді. Експериментуйте, щоб знайти найкращий баланс для вашої ситуації.

Налаштування в настільному застосунку​

Як тільки Ollama працює з встановленою моделлю, настільний застосунок автоматично її розпізнає. Тоді ви можете в чаті обрати локальну модель як альтернатива хмарним моделям.

На початковому екрані під полем введення можна вибрати локальну модель до надсилання першого повідомлення. Вибрана модель використовується з першого повідомлення й надалі її можна змінити.

Доступні моделі з підтримкою інструментів/vision​

Перегляньте повний список на ollama.com/library. Фільтруйте за моделями з:

  • тегом Tools для можливостей інструментів
  • тегом Vision для розпізнавання зображень

Популярні варіанти:

  • qwen3-vl:4b - компактна, швидка, інструменти + vision
  • llama3.2-vision - можливості Vision
  • mistral - швидкі загальні завдання
WhatsApp