Скільки пам'яті залишити нейромережі-помічнику під час стріму в 1080p

Спочатку порахуйте, що вже зайнято

Нейромережа-помічник не працює у вакуумі: вона ділить залізо з грою, кодувальником і самим стрімом. Перш ніж виділяти пам'ять, порахуйте, скільки вже з'їдають інші учасники. При 1080p основне навантаження лягає на кодувальник — апаратний на відеокарті або програмний на процесорі — плюс на саму гру й захоплення екрана.

Практичний орієнтир: якщо гра й кодувальник разом займають помітну частку відеопам'яті, вільний залишок піде під модель, а не під кеш — і ви отримаєте просідання не від нестачі пам'яті, а від її постійного перерозподілу. Тому рахуйте не «скільки дати», а «скільки залишилося після гри й кодувальника».

Локальна модель чи хмара

Це головна розвилка, і від неї залежить усе.

Хмарний помічник майже не їсть локальну пам'ять: запити йдуть мережею, на вашій машині залишається тільки клієнт. Питання тоді не в гігабайтах, а в стабільності каналу й затримці — під час активного стріму аплоад уже зайнятий, і помічник ділить його з відео. Якщо канал вузький, помічник відповідатиме з паузою або конкуруватиме зі стрімом за смугу.

Локальна модель тримає ваги у відеопам'яті або оперативній пам'яті постійно. Тут пам'ять — прямий видаток, який треба відкласти заздалегідь. Зате немає мережевих затримок і аплоад вільний.

Скільки відеопам'яті потребує локальна модель

Точні цифри залежать від моделі й квантування, але рахувати можна за формулою: число параметрів помножити на розрядність зберігання. При 4-бітному квантуванні кожен мільярд параметрів займає трохи більше півгігабайта — плюс накладні витрати на службові буфери й кеш контексту. Звідси робочі орієнтири по VRAM:

• модель на 3–4 млрд параметрів у 4 бітах — близько 2–3 ГБ;
• 7–8 млрд параметрів у 4 бітах — приблизно 4,5–5,5 ГБ;
• 13–14 млрд параметрів у 4 бітах — порядку 8–9 ГБ;
• 30–34 млрд параметрів у 4 бітах — близько 18–20 ГБ.

До цих чисел додайте кеш контексту: він росте разом із довжиною діалогу і при довгому листуванні може додати кілька гігабайтів зверху. Повна точність замість квантування збільшує обсяг ваг у 3–4 рази і при 1080p-стрімі майже завжди означає, що відеопам'яті на гру не залишиться.

Що брати з моделей на 7–8 млрд під стрім

Клас 7–8B у 4-бітному квантуванні — робоча середина для збірок на 12–16 ГБ VRAM. Під чат-помічник стрімера дивляться на instruct-версії сімейств на кшталт Qwen, Llama, Mistral, Gemma: вони передбачувано рахуються за формулою вище й укладаються в заявлені обсяги. Різниця між ними в якості відповідей українською та в темпі генерації, а не у вимогах до пам'яті — параметрів приблизно стільки ж.

Для помічника, який читає чат і підказує реакції короткими репліками, вистачає 7–8B при помірному контексті. Моделі на 3–4B помітно слабші у зв'язному тексті, але звільняють 2–3 ГБ під гру. Повні, не квантовані ваги в 7–8B займуть у рази більше і при 1080p-стрімі в бюджет не влізають.

Нестача VRAM і offload: як це змінює розрахунок

Якщо вагам не вистачило відеопам'яті, частина шарів іде в системну пам'ять через offload — і модель продовжує працювати. Плата за це — швидкість: обмін іде через шину, інференс сповільнюється, а в мінус ідуть і ОЗП, і VRAM одночасно. Offload не скасовує розрахунок — він переносить видаток з VRAM в ОЗП і знижує темп відповідей.

Тому «поставити модель побільше й увімкнути offload» під час активного стріму — компроміс на межі: помічник думатиме довше, а система почне свопити під піками гри. Краще взяти модель поменше й укласти її цілком у вільний залишок.

Оперативна пам'ять

Якщо модель крутиться на CPU, видаток переїжджає в ОЗП: тим самим півгігабайтом на мільярд параметрів у 4 бітах плюс буфери. Модель 7–8B на процесорі займе близько 5–6 ГБ ОЗП понад потреби системи, гри й кодувальника, а інференс на CPU іде помітно повільніше — помічник відповідатиме з відчутною паузою. Програмне кодування 1080p саме по собі навантажує процесор, і складати з ним інференс на тому ж CPU — певний спосіб отримати дропи.

Чому не можна віддати всю вільну пам'ять

Спокуса проста: вільно стільки-то — віддам усе моделі. Це помилка. Пам'ять потрібна як буфер під піки: підвантаження ассетів у грі, стрибки бітрейту в кодувальника, фонова робота системи. Якщо модель зайняла залишок, система почне свопити — і ви отримаєте фризи, джерело яких не відразу знайдете. Піки в стрімі приходять у найневдаліші моменти — на динамічних сценах і при зміні локацій.

Чим міряти зайняту пам'ять у піку

Середні значення по диспетчеру завдань обмануть: вам потрібен пік під час бою, а не спокійний екран.

• nvidia-smi з оновленням у циклі показує зайняту VRAM і загальний ліміт по процесах;
• MSI Afterburner з RivaTuner оверлеєм виводить зайняту VRAM і завантаження GPU прямо поверх гри — зручно відстежувати пік на око;
• вбудована статистика або оверлей драйвера дає ті самі значення без сторонніх програм;
• диспетчер завдань і монітор ресурсів потрібні для ОЗП і свопу — там видно, коли система почала вивантажувати сторінки.

Дивіться не середнє, а максимум за сесію: саме він визначає, що залишиться моделі.

Як підібрати обсяг під свою збірку

1. Запустіть гру й кодувальник у бойовому режимі 1080p, заміряйте пік через nvidia-smi або оверлей Afterburner.
2. Відніміть пік від доступного обсягу — отримаєте верхню межу для моделі із запасом під піки.
3. Запустіть помічника, поспостерігайте за кадрами, свопом і часом відповіді.
4. Якщо з'явилися фризи — спершу вкоротите контекст, потім знизьте клас моделі або увімкніть агресивніше квантування, і повторюйте, доки не зникнуть дропи й своп.

Метод вимагає повторних замірів: піки змінюються від гри й сцени.

Що реально економить пам'ять

Якщо пам'ять у дефіциті, важелів кілька, і в кожного своя ціна:

• коротший контекст і скидання історії знижують видаток кешу, але ви втрачаєте нитку діалогу;
• модель поменше або агресивніше квантування економлять гігабайти, але просідає якість відповідей;
• хмарний помічник звільняє локальну пам'ять повністю, зате додає затримку й залежність від мережі;
• переведення 1080p на апаратний кодувальник знімає навантаження з процесора і часто дає більше, ніж підбір гігабайтів;
• обмеження довжини відповіді й розміру історії в налаштуваннях клієнта тримає видаток кешу передбачуваним.

Починайте з кодувальника й контексту: це найдешевші за якістю заходи. Квантування й зменшення моделі чіпайте, коли цих кроків не вистачило.