Сколько памяти оставить нейросети-помощнику при стриме в 1080p

Сначала посчитайте, что уже занято

Нейросеть-помощник не работает в вакууме: она делит железо с игрой, кодировщиком и самим стримом. Прежде чем выделять память, посчитайте, сколько уже съедают остальные участники. При 1080p основная нагрузка ложится на кодировщик — аппаратный на видеокарте или программный на процессоре — плюс на саму игру и захват экрана.

Практический ориентир: если игра и кодировщик вместе занимают заметную долю видеопамяти, свободный остаток уйдёт под модель, а не под кэш — и вы получите просадки не от нехватки памяти, а от её постоянного перераспределения. Поэтому считайте не «сколько дать», а «сколько осталось после игры и кодировщика».

Локальная модель или облако

Это главная вилка, и от неё зависит всё.

Облачный помощник почти не ест локальную память: запросы уходят по сети, на вашей машине остаётся только клиент. Вопрос тогда не в гигабайтах, а в стабильности канала и задержке — при активном стриме аплоад уже занят, и помощник делит его с видео. Если канал узкий, помощник будет отвечать с паузой или конкурировать со стримом за полосу.

Локальная модель держит веса в видеопамяти или оперативной памяти постоянно. Здесь память — прямой расход, который нужно отложить заранее. Зато нет сетевых задержек и аплоад свободен.

Сколько видеопамяти требует локальная модель

Точные цифры зависят от модели и квантизации, но считать можно по формуле: число параметров умножить на разрядность хранения. При 4-битной квантизации каждый миллиард параметров занимает чуть больше полугигабайта — плюс накладные расходы на служебные буферы и кэш контекста. Отсюда рабочие ориентиры по VRAM:

• модель на 3–4 млрд параметров в 4 битах — около 2–3 ГБ;
• 7–8 млрд параметров в 4 битах — примерно 4,5–5,5 ГБ;
• 13–14 млрд параметров в 4 битах — порядка 8–9 ГБ;
• 30–34 млрд параметров в 4 битах — около 18–20 ГБ.

К этим числам добавьте кэш контекста: он растёт вместе с длиной диалога и при длинной переписке может прибавить несколько гигабайт сверху. Полная точность вместо квантизации увеличивает объём весов в 3–4 раза и при 1080p-стриме почти всегда означает, что видеопамяти на игру не останется.

Что брать из моделей на 7–8 млрд под стрим

Класс 7–8B в 4-битной квантизации — рабочая середина для сборок на 12–16 ГБ VRAM. Под чат-помощник стримера смотрят на instruct-версии семейств вроде Qwen, Llama, Mistral, Gemma: они предсказуемо считаются по формуле выше и укладываются в заявленные объёмы. Разница между ними в качестве ответов на русском и в темпе генерации, а не в требованиях к памяти — параметров примерно столько же.

Для помощника, который читает чат и подсказывает реакции короткими репликами, хватает 7–8B при умеренном контексте. Модели на 3–4B заметно слабее в связном тексте, но освобождают 2–3 ГБ под игру. Полные, не квантованные веса в 7–8B займут в разы больше и при 1080p-стриме в бюджет не влезают.

Нехватка VRAM и offload: как это меняет расчёт

Если весам не хватило видеопамяти, часть слоёв уходит в системную память через offload — и модель продолжает работать. Плата за это — скорость: обмен идёт через шину, инференс замедляется, а в минус уходят и ОЗУ, и VRAM одновременно. Offload не отменяет расчёт — он переносит расход из VRAM в ОЗУ и снижает темп ответов.

Поэтому «поставить модель побольше и включить offload» при активном стриме — компромисс на грани: помощник будет думать дольше, а система начнёт свопить под пиками игры. Лучше взять модель поменьше и уложить её целиком в свободный остаток.

Оперативная память

Если модель крутится на CPU, расход переезжает в ОЗУ: тем же полгигабайтом на миллиард параметров в 4 битах плюс буферы. Модель 7–8B на процессоре займёт около 5–6 ГБ ОЗУ сверх нужд системы, игры и кодировщика, а инференс на CPU идёт заметно медленнее — помощник будет отвечать с ощутимой паузой. Программное кодирование 1080p само по себе нагружает процессор, и складывать с ним инференс на том же CPU — верный способ получить дропы.

Почему нельзя отдать всю свободную память

Соблазн простой: свободно столько-то — отдам всё модели. Это ошибка. Память нужна как буфер под пики: подгрузка ассетов в игре, скачки битрейта у кодировщика, фоновая работа системы. Если модель заняла остаток, система начнёт свопить — и вы получите фризы, источник которых не сразу найдёте. Пики в стриме приходят в самые неудобные моменты — на динамичных сценах и при смене локаций.

Чем мерить занятую память в пике

Средние значения по диспетчеру задач обманут: вам нужен пик во время боя, а не спокойный экран.

• nvidia-smi с обновлением в цикле показывает занятую VRAM и общий лимит по процессам;
• MSI Afterburner с RivaTuner оверлеем выводит занятую VRAM и загрузку GPU прямо поверх игры — удобно отслеживать пик на глаз;
• встроенная статистика или оверлей драйвера даёт те же значения без сторонних программ;
• диспетчер задач и монитор ресурсов нужны для ОЗУ и свопа — там видно, когда система начала выгружать страницы.

Смотрите не среднее, а максимум за сессию: именно он определяет, что останется модели.

Как подобрать объём под свою сборку

1. Запустите игру и кодировщик в боевом режиме 1080p, замерьте пик через nvidia-smi или оверлей Afterburner.
2. Вычтите пик из доступного объёма — получите верхнюю границу для модели с запасом под пики.
3. Запустите помощника, понаблюдайте за кадрами, свопом и временем ответа.
4. Если появились фризы — сначала укоротите контекст, затем снизьте класс модели или включите более агрессивную квантизацию, и повторяйте, пока не исчезнут дропы и своп.

Метод требует повторных замеров: пики меняются от игры и сцены.

Что реально экономит память

Если память в дефиците, рычагов несколько, и у каждого своя цена:

• короче контекст и сброс истории снижают расход кэша, но вы теряете нить диалога;
• модель поменьше или агрессивнее квантизация экономят гигабайты, но проседает качество ответов;
• облачный помощник освобождает локальную память полностью, зато добавляет задержку и зависимость от сети;
• перевод 1080p на аппаратный кодировщик снимает нагрузку с процессора и часто даёт больше, чем подбор гигабайтов;
• ограничение длины ответа и размера истории в настройках клиента держит расход кэша предсказуемым.

Начинайте с кодировщика и контекста: это самые дешёвые по качеству меры. Квантизацию и уменьшение модели трогайте, когда этих шагов не хватило.