Cuánta memoria dejar a la red neuronal asistente durante un stream en 1080p

Primero calcule qué ya está ocupado

La red neuronal asistente no trabaja en el vacío: comparte el hardware con el juego, el codificador y el propio stream. Antes de asignar memoria, calcule cuánto consumen ya los demás participantes. En 1080p la carga principal recae sobre el codificador —por hardware en la tarjeta gráfica o por software en el procesador—, además del propio juego y la captura de pantalla.

Referencia práctica: si el juego y el codificador juntos ocupan una parte notable de la memoria de vídeo, el resto libre se destinará al modelo, no a la caché, y sufrirá caídas no por falta de memoria, sino por su redistribución constante. Por eso calcule no «cuánto dar», sino «cuánto queda después del juego y el codificador».

Modelo local o nube

Esta es la bifurcación principal, y de ella depende todo.

El asistente en la nube casi no consume memoria local: las solicitudes salen por la red y en su máquina solo queda el cliente. Entonces la cuestión no son los gigabytes, sino la estabilidad del canal y la latencia: durante un stream activo la subida ya está ocupada, y el asistente la comparte con el vídeo. Si el canal es estrecho, el asistente responderá con pausa o competirá con el stream por el ancho de banda.

El modelo local mantiene los pesos en la memoria de vídeo o en la memoria RAM de forma permanente. Aquí la memoria es un gasto directo que hay que reservar de antemano. A cambio, no hay latencias de red y la subida queda libre.

Cuánta memoria de vídeo requiere un modelo local

Las cifras exactas dependen del modelo y de la cuantización, pero se puede calcular con la fórmula: número de parámetros multiplicado por la profundidad de bits de almacenamiento. Con cuantización de 4 bits, cada mil millones de parámetros ocupa algo más de medio gigabyte, más los gastos adicionales de búferes auxiliares y caché de contexto. De ahí las referencias prácticas por VRAM:

• modelo de 3–4 mil millones de parámetros en 4 bits: unos 2–3 GB;
• 7–8 mil millones de parámetros en 4 bits: aproximadamente 4,5–5,5 GB;
• 13–14 mil millones de parámetros en 4 bits: del orden de 8–9 GB;
• 30–34 mil millones de parámetros en 4 bits: unos 18–20 GB.

A estas cifras añada la caché de contexto: crece con la longitud del diálogo y, en conversaciones largas, puede sumar varios gigabytes más. La precisión completa en lugar de la cuantización multiplica el volumen de los pesos por 3–4 y, con un stream en 1080p, casi siempre significa que no quedará memoria de vídeo para el juego.

Qué modelos de 7–8 mil millones elegir para el stream

La clase 7–8B en cuantización de 4 bits es el punto medio práctico para equipos con 12–16 GB de VRAM. Para el asistente de chat del streamer se suelen considerar las versiones instruct de familias como Qwen, Llama, Mistral, Gemma: se calculan de forma predecible con la fórmula anterior y encajan en los volúmenes indicados. La diferencia entre ellas está en la calidad de las respuestas en ruso y en el ritmo de generación, no en los requisitos de memoria: los parámetros son más o menos los mismos.

Para un asistente que lee el chat y sugiere reacciones con réplicas cortas, basta con 7–8B con un contexto moderado. Los modelos de 3–4B son notablemente más débiles en texto coherente, pero liberan 2–3 GB para el juego. Los pesos completos, sin cuantizar, de 7–8B ocuparán varias veces más y no caben en el presupuesto con un stream en 1080p.

Falta de VRAM y offload: cómo cambia el cálculo

Si los pesos no caben en la memoria de vídeo, parte de las capas pasa a la memoria del sistema mediante offload, y el modelo sigue funcionando. El precio es la velocidad: el intercambio va por el bus, la inferencia se ralentiza y se consumen RAM y VRAM a la vez. El offload no elimina el cálculo: traslada el gasto de la VRAM a la RAM y reduce el ritmo de las respuestas.

Por eso «poner un modelo más grande y activar el offload» con un stream activo es un compromiso al límite: el asistente tardará más en pensar y el sistema empezará a hacer swapping en los picos del juego. Es mejor elegir un modelo más pequeño y encajarlo por completo en el resto libre.

Memoria RAM

Si el modelo se ejecuta en la CPU, el gasto se traslada a la RAM: el mismo medio gigabyte por cada mil millones de parámetros en 4 bits más los búferes. Un modelo de 7–8B en el procesador ocupará unos 5–6 GB de RAM por encima de las necesidades del sistema, el juego y el codificador, y la inferencia en CPU va notablemente más lenta: el asistente responderá con una pausa perceptible. La codificación por software en 1080p ya de por sí carga el procesador, y sumarle la inferencia en la misma CPU es la forma segura de conseguir caídas.

Por qué no se puede ceder toda la memoria libre

La tentación es simple: hay tanto libre, se lo doy todo al modelo. Es un error. La memoria hace falta como búfer para los picos: carga de assets en el juego, saltos de bitrate en el codificador, trabajo en segundo plano del sistema. Si el modelo ocupa el resto, el sistema empezará a hacer swapping y sufrirá tirones cuya causa no encontrará de inmediato. Los picos en el stream llegan en los momentos más inoportunos: en escenas dinámicas y al cambiar de ubicación.

Con qué medir la memoria ocupada en el pico

Los valores medios del administrador de tareas engañan: necesita el pico durante el combate, no la pantalla en reposo.

• nvidia-smi con actualización en bucle muestra la VRAM ocupada y el límite total por procesos;
• MSI Afterburner con el overlay de RivaTuner muestra la VRAM ocupada y la carga de la GPU directamente sobre el juego: cómodo para seguir el pico a ojo;
• las estadísticas integradas o el overlay del controlador dan los mismos valores sin programas de terceros;
• el administrador de tareas y el monitor de recursos sirven para la RAM y el swap: ahí se ve cuándo el sistema empezó a descargar páginas.

Fíjese no en la media, sino en el máximo de la sesión: es lo que determina qué quedará para el modelo.

Cómo elegir el volumen para su equipo

1. Inicie el juego y el codificador en modo de combate a 1080p, mida el pico con nvidia-smi o el overlay de Afterburner.
2. Reste el pico del volumen disponible: obtendrá el límite superior para el modelo con margen para los picos.
3. Inicie el asistente, observe los fotogramas, el swap y el tiempo de respuesta.
4. Si aparecen tirones, primero acorte el contexto, luego baje la clase del modelo o active una cuantización más agresiva, y repita hasta que desaparezcan las caídas y el swap.

El método exige mediciones repetidas: los picos cambian según el juego y la escena.

Qué ahorra memoria de verdad

Si la memoria escasea, hay varias palancas, y cada una tiene su precio:

• un contexto más corto y el reinicio del historial reducen el gasto de caché, pero pierde el hilo del diálogo;
• un modelo más pequeño o una cuantización más agresiva ahorran gigabytes, pero baja la calidad de las respuestas;
• el asistente en la nube libera por completo la memoria local, pero añade latencia y dependencia de la red;
• pasar el 1080p al codificador por hardware quita carga al procesador y a menudo da más que ajustar gigabytes;
• limitar la longitud de la respuesta y el tamaño del historial en la configuración del cliente mantiene predecible el gasto de caché.

Empiece por el codificador y el contexto: son las medidas más baratas en cuanto a calidad. Toque la cuantización y la reducción del modelo cuando estos pasos no hayan bastado.