Quanta memória deixar para a IA assistente ao fazer stream em 1080p

Primeiro calcule o que já está ocupado

A IA assistente não funciona no vácuo: ela divide o hardware com o jogo, o codificador e o próprio stream. Antes de reservar memória, calcule quanto os outros participantes já consomem. Em 1080p, a carga principal recai sobre o codificador — por hardware na placa de vídeo ou por software no processador — além do próprio jogo e da captura de tela.

Referência prática: se o jogo e o codificador juntos ocupam uma fatia considerável da memória de vídeo, o restante livre vai para o modelo, não para o cache — e você terá quedas não por falta de memória, mas pela sua realocação constante. Por isso, calcule não "quanto dar", mas "quanto sobrou depois do jogo e do codificador".

Modelo local ou nuvem

Essa é a bifurcação principal, e tudo depende dela.

Um assistente em nuvem quase não consome memória local: as requisições vão pela rede, e na sua máquina fica apenas o cliente. A questão então não é gigabytes, mas a estabilidade do canal e a latência — com o stream ativo, o upload já está ocupado, e o assistente o divide com o vídeo. Se o canal for estreito, o assistente vai responder com pausa ou competir com o stream pela banda.

Um modelo local mantém os pesos na memória de vídeo ou na memória RAM o tempo todo. Aqui a memória é um gasto direto, que precisa ser reservado com antecedência. Em compensação, não há latência de rede e o upload fica livre.

Quanta memória de vídeo um modelo local exige

Os números exatos dependem do modelo e da quantização, mas dá para calcular pela fórmula: número de parâmetros multiplicado pela profundidade de armazenamento. Com quantização de 4 bits, cada bilhão de parâmetros ocupa pouco mais de meio gigabyte — mais a sobrecarga de buffers auxiliares e do cache de contexto. Daí as referências práticas de VRAM:

• modelo de 3–4 bilhões de parâmetros em 4 bits — cerca de 2–3 GB;
• 7–8 bilhões de parâmetros em 4 bits — aproximadamente 4,5–5,5 GB;
• 13–14 bilhões de parâmetros em 4 bits — em torno de 8–9 GB;
• 30–34 bilhões de parâmetros em 4 bits — cerca de 18–20 GB.

A esses números, some o cache de contexto: ele cresce com o tamanho do diálogo e, em conversas longas, pode acrescentar vários gigabytes. A precisão total em vez da quantização aumenta o volume dos pesos em 3–4 vezes e, em um stream em 1080p, quase sempre significa que não sobrará memória de vídeo para o jogo.

Quais modelos de 7–8 bilhões escolher para o stream

A classe 7–8B em quantização de 4 bits é o meio-termo viável para configurações com 12–16 GB de VRAM. Para um assistente de chat do streamer, costuma-se olhar as versões instruct de famílias como Qwen, Llama, Mistral, Gemma: elas são previsivelmente calculadas pela fórmula acima e cabem nos volumes declarados. A diferença entre elas está na qualidade das respostas em português e no ritmo de geração, não nos requisitos de memória — os parâmetros são praticamente os mesmos.

Para um assistente que lê o chat e sugere reações com falas curtas, 7–8B com contexto moderado é suficiente. Modelos de 3–4B são bem mais fracos em texto coeso, mas liberam 2–3 GB para o jogo. Pesos completos, sem quantização, em 7–8B ocuparão muito mais e não caberão no orçamento de um stream em 1080p.

Falta de VRAM e offload: como isso muda o cálculo

Se os pesos não couberem na memória de vídeo, parte das camadas vai para a memória do sistema via offload — e o modelo continua funcionando. O preço disso é a velocidade: a troca passa pelo barramento, a inferência fica mais lenta, e tanto a RAM quanto a VRAM são consumidas ao mesmo tempo. O offload não dispensa o cálculo — ele transfere o gasto da VRAM para a RAM e reduz o ritmo das respostas.

Por isso, "colocar um modelo maior e ativar o offload" com o stream ativo é um compromisso no limite: o assistente vai demorar mais para pensar, e o sistema começará a fazer swap nos picos do jogo. É melhor pegar um modelo menor e encaixá-lo inteiro no restante livre.

Memória RAM

Se o modelo roda na CPU, o consumo migra para a RAM: o mesmo meio gigabyte por bilhão de parâmetros em 4 bits, mais os buffers. Um modelo de 7–8B no processador ocupará cerca de 5–6 GB de RAM além das necessidades do sistema, do jogo e do codificador, e a inferência na CPU é bem mais lenta — o assistente responderá com uma pausa perceptível. A codificação por software em 1080p já sobrecarrega o processador, e somar a ela a inferência na mesma CPU é o caminho certo para ter quedas.

Por que não se pode entregar toda a memória livre

A tentação é simples: tem tanto livre — vou dar tudo para o modelo. Isso é um erro. A memória é necessária como buffer para os picos: carregamento de assets no jogo, oscilações de bitrate no codificador, trabalho em segundo plano do sistema. Se o modelo ocupar o restante, o sistema começará a fazer swap — e você terá travamentos cuja origem não vai encontrar de imediato. Os picos no stream chegam nos momentos mais inconvenientes — em cenas dinâmicas e na troca de locais.

Com o que medir a memória ocupada no pico

As médias do gerenciador de tarefas vão enganar: você precisa do pico durante o combate, não da tela tranquila.

• nvidia-smi com atualização em loop mostra a VRAM ocupada e o limite total por processo;
• MSI Afterburner com overlay do RivaTuner exibe a VRAM ocupada e a carga da GPU direto sobre o jogo — prático para acompanhar o pico a olho;
• as estatísticas integradas ou o overlay do driver dão os mesmos valores sem programas de terceiros;
• o gerenciador de tarefas e o monitor de recursos servem para RAM e swap — ali dá para ver quando o sistema começou a descarregar páginas.

Olhe não a média, mas o máximo da sessão: é ele que determina o que sobrará para o modelo.

Como dimensionar o volume para a sua configuração

1. Inicie o jogo e o codificador no modo de combate em 1080p, meça o pico via nvidia-smi ou overlay do Afterburner.
2. Subtraia o pico do volume disponível — você obtém o limite superior para o modelo, com folga para os picos.
3. Inicie o assistente, acompanhe os quadros, o swap e o tempo de resposta.
4. Se aparecerem travamentos — primeiro encurte o contexto, depois reduza a classe do modelo ou ative uma quantização mais agressiva, e repita até sumirem as quedas e o swap.

O método exige medições repetidas: os picos variam conforme o jogo e a cena.

O que realmente economiza memória

Se a memória está em falta, há várias alavancas, e cada uma tem seu custo:

• contexto mais curto e reset do histórico reduzem o consumo do cache, mas você perde o fio do diálogo;
• um modelo menor ou uma quantização mais agressiva economizam gigabytes, mas a qualidade das respostas cai;
• um assistente em nuvem libera a memória local por completo, mas acrescenta latência e dependência da rede;
• migrar o 1080p para o codificador por hardware alivia o processador e muitas vezes rende mais do que ajustar gigabytes;
• limitar o tamanho da resposta e do histórico nas configurações do cliente mantém o consumo do cache previsível.

Comece pelo codificador e pelo contexto: são as medidas mais baratas em termos de qualidade. Mexa na quantização e na redução do modelo quando esses passos não bastarem.