Локальну мовну модель можна запустити навіть на ноутбуці без відеокарти, але від заліза залежить, яку саме і наскільки корисною вона буде. Розбираємо чотири конфігурації — від ПК без GPU до 24 GB VRAM, квантизацію, роль пам'яті, Ollama і LM Studio, практичні сценарії і чесно відповідаємо, чи замінить домашній ПК ChatGPT або Claude.
Дія.AI, Mamay AI Chat, відкриті моделі Lapa і MamayLM, національна «Сяйво» та українські компанії зі світовими продуктами. Розібрали, що з цього можна спробувати вже зараз, що існує лише як модель для розробників, а що поки на стадії обіцянок.
Ollama часто називають «локальним ChatGPT», і через це він розчаровує тих, хто хоче просто поговорити з ШІ. Насправді це не чат, а розетка: інструмент, який перетворює мовну модель на службу на вашому комп'ютері, до якої можуть звертатися скрипти, редактор коду й інші програми. Розбираємося, кому це потрібно, де він кращий за LM Studio і в чому пастка хмарних моделей з тим самим інтерфейсом.
LM Studio — найзручніший спосіб запустити відкриту мовну модель без терміналу. Але обіцянка «свій ChatGPT офлайн» розбивається об просту річ: якість відповідей визначає не програма, а ваша відеокарта. А в липні творці LM Studio випустили агента Bionic із платною хмарою, і це теж дещо говорить про межі локального ШІ.
Мінцифри і Київстар із 2025 року створюють українську велику мовну модель на основі відкритих моделей Gemma від Google. Терміни запуску вже кілька разів зсувалися. Зібрали підтверджені факти — від вибору базової моделі до останніх заяв про строки — з датою кожного з них.