Запустити мовну модель на власному комп'ютері сьогодні простіше, ніж встановити деякі ігри: завантажуєте Ollama або LM Studio, обираєте модель — і за кілька хвилин маєте чат, що працює без інтернету. Складніше зрозуміти, яку модель тягне саме ваш ПК і чи буде від неї користь.

Цей посібник про те, як залізо визначає можливості локальних моделей. Вимоги взято з документації моделей та інструментів станом на жовтень 2026 року. Власних бенчмарків ми не наводимо: швидкість залежить від конкретної моделі, версії програм, драйверів і налаштувань. Там, де ми даємо оцінки, це прямо позначено.

Коротко

Без відеокарти реально запускати малі моделі на 2–4 мільярди параметрів для простих завдань. Більші запрацюють, але повільно.
6–8 GB відеопам'яті вистачає для моделей класу 4–9B у 4-бітній квантизації — це комфортний рівень для приватного чату й нескладних задач.
12–16 GB відкривають моделі на 12–20B і частину моделей Mixture-of-Experts — це вже помітно корисніший помічник для текстів і коду.
24 GB і більше дозволяють запускати моделі на 27–32B — найсильніше, що вміщується в одну домашню відеокарту.
Замінити ChatGPT чи Claude повністю домашній ПК не може, але для приватних даних, роботи без інтернету й автоматизації рутини локальна модель має реальні переваги.

Три різні речі: запуск, доадаптація і навчання з нуля

Коли кажуть «своя нейромережа», мають на увазі одне з трьох.

	Що це	Що потрібно	Для кого
Запуск готової моделі	завантажуєте відкриту модель і користуєтеся нею	звичайний ПК, від 8–16 GB пам'яті	для більшості користувачів
Доадаптація (fine-tuning)	донавчаєте готову модель на своїх прикладах	відеокарта NVIDIA з достатньою пам'яттю, підготовлені дані, Python	для розробників і бізнесу з конкретною задачею
Навчання з нуля	створюєте модель від початку	кластери з тисяч GPU, трильйони токенів даних	для великих компаній і державних проєктів

Доадаптація стала доступнішою завдяки методам LoRA і QLoRA: замість усіх параметрів моделі навчають невеликі додаткові матриці. За документацією Unsloth, мінімальні вимоги до відеопам'яті виглядають так:

Розмір моделі	QLoRA (4-біт)	LoRA (16-біт)
3B	3,5 GB	8 GB
8B	6 GB	22 GB
14B	8,5 GB	33 GB
27B	22 GB	64 GB

Unsloth підкреслює, що це абсолютний мінімум, а для навчання потрібна відеокарта NVIDIA (або AMD, Intel чи Mac через окремі інструкції). Технічно домашня GPU на 8 GB дозволяє донавчити модель на 8B. Але головна складність не в залізі, а в даних: потрібні сотні чи тисячі якісних прикладів того, як модель має відповідати. Для більшості задач спершу варто спробувати просто добрий промпт і роботу з документами (про це нижче).

Навчання з нуля вдома неможливе. Для орієнтиру: за офіційною карткою моделі, на навчання Llama 3.1 8B пішло 1,46 мільйона GPU-годин на прискорювачах H100, а вся лінійка Llama 3.1 навчалася на приблизно 15 трильйонах токенів. Навіть українська національна модель «Сяйво» не навчається з нуля, а адаптує відкриту модель Gemma.

Далі мова лише про запуск готових моделей.

Що визначає, яку модель ви зможете запустити

Кількість параметрів

Розмір моделі вимірюють у мільярдах параметрів: 4B, 12B, 31B. Більше параметрів — зазвичай краща якість, але більше пам'яті і повільніша робота.

Квантизація

Початково кожен параметр займає 16 біт. Квантизація стискає їх до 8 чи 4 біт з невеликою втратою якості. Саме вона дає змогу запускати моделі вдома. Google наводить для Gemma 4 таку таблицю орієнтовної пам'яті лише для завантаження ваг:

Модель	16 біт (BF16)	8 біт	4 біт (Q4_0)
Gemma 4 E2B	11,4 GB	5,7 GB	2,9 GB
Gemma 4 E4B	17,9 GB	8,9 GB	4,5 GB
Gemma 4 12B	26,7 GB	13,4 GB	6,7 GB
Gemma 4 26B A4B	57,7 GB	28,8 GB	14,4 GB
Gemma 4 31B	69,9 GB	34,9 GB	17,5 GB

Google окремо попереджає, що це лише ваги. Пам'ять для програми і для контексту розмови треба додати зверху. Для домашнього запуску найпоширеніший компроміс — 4-бітні версії (у назвах файлів Q4_K_M, Q4_0 тощо). Саме їх Ollama зазвичай завантажує за замовчуванням.

VRAM і RAM

Найшвидше модель працює, коли повністю вміщується у відеопам'ять (VRAM). Якщо не вміщується, частина шарів лишається в оперативній пам'яті (RAM) і обчислюється процесором. Це працює, але швидкість падає.

В Ollama це легко перевірити командою ollama ps. За документацією, у колонці PROCESSOR буде «100% GPU», «100% CPU» або змішаний варіант на кшталт «48%/52% CPU/GPU». Змішаний — сигнал, що модель завелика для вашої відеокарти.

Контекст

Контекст — це обсяг тексту, який модель «тримає в голові»: ваш запит, історія розмови, документ. Він займає пам'ять понад вагами моделі, і що він довший, то більше пам'яті потрібно. Ollama за замовчуванням використовує контекст на 4096 токенів. Його можна збільшити, але тоді та сама модель може перестати вміщуватися у відеокарту.

Ollama дозволяє стиснути кеш контексту: режим q8_0 займає приблизно вдвічі менше пам'яті, ніж стандартний f16, з дуже невеликою втратою точності, а q4_0 — учетверо менше з помітнішою втратою на довгих контекстах.

Швидкість пам'яті

Для генерації кожного нового слова модель має прочитати з пам'яті всі свої активні ваги. Тому швидкість генерації обмежена не стільки потужністю процесора, скільки пропускною здатністю пам'яті.

Наша груба оцінка, а не бенчмарк: теоретична межа швидкості ≈ пропускна здатність пам'яті ÷ обсяг активних ваг. Двоканальна DDR5-5600 теоретично дає близько 90 GB/s (5600 млн передач/с × 8 байт × 2 канали). Для моделі на 5 GB це стеля приблизно 18 токенів на секунду, а реальна швидкість буде нижчою. Відеопам'ять сучасних GPU в кілька разів швидша, тому та сама модель на відеокарті працює в рази швидше.

Звідси практичний висновок для ПК без відеокарти: двоканальний режим пам'яті (дві планки замість однієї) важливіший, ніж зайві ядра процесора.

Mixture-of-Experts

Частина моделей побудована за схемою Mixture-of-Experts (MoE): з усіх параметрів для кожного токена працює лише частина. Наприклад, у Gemma 4 26B A4B активні 4 мільярди з 26, у gpt-oss-20b, за OpenAI, 3,6 мільярда з 21.

Нюанс, на який звертає увагу Google: у пам'ять треба завантажити всі параметри, а не лише активні. Тож пам'яті MoE-модель потребує як велика, а працює швидше, бо на кожен токен читає менше ваг.

Процесор, диск і система

LM Studio на ПК з x64-процесором вимагає підтримки інструкцій AVX2, рекомендує від 16 GB RAM і від 4 GB відеопам'яті. На Mac потрібен Apple Silicon (M1 і новіші) і macOS 14.
Ollama для Windows потребує Windows 10 22H2 або новішої. Для відеокарт NVIDIA — драйвер 551.61 або новіший. Для AMD — драйвери з ROCm 7 або Vulkan. Підтримуються NVIDIA з compute capability 5.0 і вище, тобто від серії GTX 750 Ti і новіші. Сама програма займає близько 4 GB, а моделі — від сотень мегабайтів до сотень гігабайтів.
Mac з Apple Silicon використовує спільну пам'ять для процесора й графіки. Тому Mac з 32 чи 64 GB пам'яті може завантажити модель, яка не вмістилася б у відеокарту ПК з такою ж кількістю оперативної пам'яті.

Інструменти

Інструмент	Що це	Кому підходить
Ollama	рушій для запуску моделей з командним рядком, застосунком і локальним API	тим, хто хоче автоматизацію і інтеграції
LM Studio	графічний застосунок: пошук і завантаження моделей, чат, документи, MCP, локальний сервер	тим, хто хоче все в одному вікні без терміналу
llama.cpp	базовий рушій, на якому побудовано багато інструментів	розробникам, які хочуть максимального контролю
Open WebUI	вебінтерфейс у стилі ChatGPT поверх Ollama	для зручного чату, зокрема для кількох користувачів у локальній мережі
Continue	розширення для редакторів коду з підтримкою локальних моделей	програмістам
ComfyUI	вузловий редактор для генерації зображень, відео й аудіо	для локальної генерації картинок

Важливе застереження щодо Ollama. Ollama зараз пропонує і хмарні моделі: у бібліотеці вони мають позначку cloud, а API працює і з локальними, і з хмарними моделями. Хмарні моделі виконуються на серверах Ollama, а не на вашому ПК. Якщо мета — приватність, обирайте моделі без позначки cloud і перевіряйте, що запити йдуть на локальну адресу http://localhost:11434.

Чотири конфігурації

Нижче — орієнтири для кожного класу заліза. Розміри моделей взято з бібліотеки Ollama (4-бітні версії за замовчуванням) і з таблиці Google для Gemma 4. Конкретна модель — приклад класу, а не рекомендація «найкращої»: нові моделі виходять щомісяця.

1. ПК або ноутбук без дискретної відеокарти

Типове залізо: 16 GB RAM, сучасний процесор з AVX2. Краще 32 GB.

Що запускати	Приклади (розмір завантаження)
Малі моделі 1–4B	Gemma 3 1B (0,8 GB), Qwen3 4B (2,5 GB), Gemma 3 4B (3,4 GB), Gemma 4 E2B (4-біт ваги — 2,9 GB за Google)
З 32 GB RAM, якщо готові чекати	моделі 8–12B, MoE-модель gpt-oss-20b (14 GB)

Що реально робити: короткі відповіді, переказ і редагування невеликих текстів, чернетки листів, класифікація, простий переклад.

Обмеження: відповіді генеруються повільніше, ніж ви читаєте, особливо для моделей від 8B. Довгі документи й великий контекст швидко з'їдають пам'ять. Малі моделі частіше помиляються у фактах і гірше тримають складні інструкції.

Наша оцінка: MoE-моделі на CPU поводяться краще, ніж звичайні моделі такого ж розміру, бо на кожен токен читають менше ваг. Але їм потрібна велика кількість RAM.

2. Бюджетна відеокарта з 6–8 GB VRAM

Типове залізо: відеокарти рівня RTX 3060 8 GB, RTX 4060, 16–32 GB RAM.

Що запускати повністю на GPU	Приклади
Моделі до 8–9B у 4-біт	Qwen3 8B (5,2 GB), Gemma 4 E4B (4-біт ваги — 4,5 GB)
Частково на GPU, частково на CPU	моделі 12–14B (Gemma 4 12B — 6,7 GB ваг у 4-біт, Qwen3 14B — 9,3 GB)

Що реально робити: приватний чат на щодень, редагування й переказ текстів, відповіді за невеликими документами, автодоповнення коду малою моделлю, генерація зображень у ComfyUI.

Обмеження: з довгим контекстом модель на 8B вже може не вміститися у 8 GB. Тоді Ollama перенесе частину на CPU, і швидкість упаде. Для складного коду й міркувань моделі цього класу слабкі.

3. Відеокарта з 12–16 GB VRAM

Типове залізо: RTX 3060 12 GB, RTX 4060 Ti 16 GB, RTX 4070 / 4070 Ti, 32 GB RAM.

Що запускати	Приклади
Моделі 12–14B з запасом під контекст	Gemma 4 12B, Qwen3 14B (9,3 GB)
Моделі близько 20B і MoE	gpt-oss-20b: OpenAI пише, що їй достатньо 16 GB пам'яті; Gemma 4 26B A4B (14,4 GB ваг у 4-біт) — впритул на 16 GB

Що реально робити: помічник для програмування в редакторі, аналіз документів на десятки сторінок, структуроване витягування даних, простий локальний агент з інструментами, впевнена генерація зображень.

Обмеження: моделі на 27–32B уже не вміщуються повністю. Довгий контекст для моделей 20B+ на 16 GB доведеться обмежувати або стискати кеш.

4. Відеокарта з 24 GB і більше

Типове залізо: RTX 3090, RTX 4090, RTX 5090, 64 GB RAM. Альтернатива — Mac на Apple Silicon з 32–64 GB спільної пам'яті.

Що запускати	Приклади
Моделі 27–32B у 4-біт	Gemma 4 31B (17,5 GB ваг), Qwen3.8 27B (18 GB), Qwen3 32B (20 GB)
Моделі близько 30B для агентів	Muse Glimmer 30B від Meta (18 GB), яку автори позиціонують для локальних агентів
Великі моделі 70B+	лише з частковим перенесенням у RAM або на кількох GPU

Що реально робити: робочий помічник для коду й аналітики, обробка великих документів, локальні агенти з кількома інструментами, генерація зображень і коротких відео.

Обмеження: gpt-oss-120b, за OpenAI, потребує близько 80 GB пам'яті, тобто професійного прискорювача або Mac з великим обсягом спільної пам'яті. Флагманські комерційні моделі на домашній ПК не запустити взагалі: їхні ваги не опубліковано.

Практичні сценарії

Приватний чат без інтернету

Найпростіший старт:

Встановіть Ollama.
У терміналі виконайте ollama run gemma4:e2b. Саме цю команду наводить офіційний quickstart. Модель завантажиться й відкриється чат.
Перевірте, де працює модель: ollama ps.

Або встановіть LM Studio, знайдіть модель у вбудованому каталозі, завантажте її й почніть чат. LM Studio може працювати повністю офлайн після завантаження моделей.

Для української мови варто спробувати MamayLM: INSAIT публікує її версії у форматі GGUF, який розуміють LM Studio і llama.cpp. Про українські моделі детальніше — в огляді українських ШІ-проєктів.

Робота з документами

LM Studio дозволяє прикріпити до чату файли .docx, .pdf і .txt. Open WebUI має бази знань поверх Ollama. Принцип у таких інструментах схожий: якщо документ вміщується в контекст, модель читає його повністю, а якщо ні — шукає релевантні фрагменти (RAG).

Практичні поради:

для документів на десятки сторінок потрібен більший контекст, а отже більше пам'яті — це сценарій для 12 GB VRAM і вище;
малі моделі погано тримають довгий документ: питайте конкретно («які строки поставки вказано в розділі 4?»), а не «що тут головне?»;
перевіряйте цитати: локальна модель так само може «додумати» те, чого в документі немає.

Головна перевага — конфіденційність: договір, медичний висновок чи внутрішній звіт не залишає ваш комп'ютер.

Допомога в програмуванні

Розширення на кшталт Continue підключаються до локальної моделі через Ollama чи LM Studio. Типова схема: мала швидка модель для автодоповнення під час набору і більша — для чату про код.

Будьте реалістами: модель на 8B допоможе з шаблонним кодом, регулярними виразами, поясненням помилки чи написанням тестів, але складний рефакторинг великого проєкту їй не під силу. Для серйозної роботи потрібні моделі від 20–30B, тобто 16–24 GB VRAM.

Окремо Ollama дозволяє запускати агентів для коду (Claude Code, Codex CLI, OpenCode) з його моделями командою ollama launch. Але якість роботи агента залежить від моделі, і з малими локальними моделями агенти для коду працюють значно гірше, ніж із хмарними.

Генерація зображень

ComfyUI — найпоширеніший локальний інструмент для зображень. Він підтримує NVIDIA, AMD, Intel і Apple Silicon і працює з моделями Stable Diffusion, SDXL, Flux, Qwen Image та іншими. Розробники заявляють, що завдяки потоковому завантаженню ваг навіть великі моделі можна запускати на 4 GB VRAM і 8 GB RAM. Але чим менше пам'яті, тим повільніше.

Перед комерційним використанням перевіряйте ліцензію конкретної моделі зображень: умови відкритих моделей суттєво відрізняються.

Хмарні безкоштовні генератори та їхні ліміти ми порівнювали в огляді безкоштовних нейромереж.

Локальний AI-агент

Агент — це модель, яка викликає інструменти: читає файли, шукає в інтернеті, запускає скрипти. Ollama підтримує виклик інструментів (tool calling), а LM Studio — підключення MCP-серверів.

Що врахувати:

надійність агента прямо залежить від розміру моделі. Малі моделі частіше плутають інструменти й аргументи;
давайте агенту мінімальні права. Агент, який може видаляти файли чи надсилати листи, з помилковою моделлю — ризик;
для складних багатокрокових агентів комфортний мінімум — 24 GB VRAM і модель на 27–32B.

Автоматизація рутини

Найнедооціненіший сценарій. Ollama запускає локальний сервер на http://localhost:11434 і, за документацією, має сумісний з OpenAI API. Отже, до локальної моделі можна підключити власні скрипти.

Приклад запиту до локальної моделі:

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4:e2b",
  "prompt": "Класифікуй відгук як позитивний, негативний чи нейтральний: Доставка затрималась на тиждень.",
  "stream": false
}'

Що можна автоматизувати:

сортування листів і відгуків за темами;
перейменування та опис сотень фото чи документів;
витягування даних з рахунків у таблицю;
переклад і чернетки відповідей на типові запитання;
щоденні зведення з логів чи нотаток.

Для таких задач навіть мала модель корисна: вона працює безкоштовно, без лімітів запитів і без передавання даних стороннім сервісам. Хмарний API за той самий обсяг брав би оплату за кожен токен.

Чи може домашній ПК замінити ChatGPT або Claude

Чесна відповідь: для більшості реальної роботи — ні, як доповнення — так.

Чому ні:

Розмір моделей. Найбільше, що вміщується в одну домашню відеокарту на 24 GB, — моделі близько 30B у 4-бітній квантизації. Флагманські хмарні моделі значно більші, а їхні ваги не опубліковано.
Контекст. Хмарні сервіси працюють з контекстом у сотні тисяч чи мільйон токенів. Удома довгий контекст швидко впирається в пам'ять.
Екосистема. Пошук в інтернеті, генерація зображень і відео, голос, аналіз файлів, агенти — у ChatGPT, Gemini і Claude це вже зібрано й налаштовано. Локально все це доводиться збирати самому.
Швидкість і вартість. Відеокарта на 24 GB коштує як кілька років платної підписки. Для нечастих складних задач підписка дешевша.

Чому так:

Приватність. Дані не залишають комп'ютер. Для договорів, медичних і фінансових документів, внутрішніх даних компанії це вирішальна перевага.
Офлайн. Працює без інтернету — актуально в українських умовах з відключеннями світла й зв'язку, якщо є живлення для ПК.
Немає лімітів і оплати за запит. Для масової обробки тисяч текстів локальна модель вигідніша за хмарний API.
Передбачуваність. Модель не зміниться без вашого відома і не стане раптом недоступною на безкоштовному тарифі.

Розумна схема на 2026 рік — гібридна: хмарний сервіс для складних задач, де потрібна найкраща якість, і локальна модель для приватних даних, рутини й автоматизації.

З чого почати: чек-лист

Визначте задачу: чат, документи, код, зображення чи автоматизація.
Перевірте залізо: обсяг VRAM, RAM, двоканальний режим пам'яті, підтримку AVX2.
Встановіть LM Studio (якщо хочете інтерфейс) або Ollama (якщо потрібен API).
Почніть з моделі, ваги якої займають не більше 70–80 % вашої VRAM, щоб лишилося місце під контекст.
Перевірте ollama ps: якщо модель не на 100 % у GPU, візьміть меншу або іншу квантизацію.
Порівняйте 2–3 моделі на своїх реальних задачах, а не за чужими рейтингами.
Перевірте ліцензію моделі, якщо плануєте комерційне використання.
Для агентів і автоматизації давайте мінімальні права і перевіряйте результат.

Своя нейромережа на ПК: яке залізо потрібне і що реально можна запускати

Коротко

Три різні речі: запуск, доадаптація і навчання з нуля