Локальну мовну модель можна запустити навіть на ноутбуці без відеокарти, але від заліза залежить, яку саме і наскільки корисною вона буде. Розбираємо чотири конфігурації — від ПК без GPU до 24 GB VRAM, квантизацію, роль пам'яті, Ollama і LM Studio, практичні сценарії і чесно відповідаємо, чи замінить домашній ПК ChatGPT або Claude.
Ollama часто називають «локальним ChatGPT», і через це він розчаровує тих, хто хоче просто поговорити з ШІ. Насправді це не чат, а розетка: інструмент, який перетворює мовну модель на службу на вашому комп'ютері, до якої можуть звертатися скрипти, редактор коду й інші програми. Розбираємося, кому це потрібно, де він кращий за LM Studio і в чому пастка хмарних моделей з тим самим інтерфейсом.
LM Studio — найзручніший спосіб запустити відкриту мовну модель без терміналу. Але обіцянка «свій ChatGPT офлайн» розбивається об просту річ: якість відповідей визначає не програма, а ваша відеокарта. А в липні творці LM Studio випустили агента Bionic із платною хмарою, і це теж дещо говорить про межі локального ШІ.