Quanta memoria lasciare all'assistente neurale durante lo streaming in 1080p

Prima calcolate cosa è già occupato

L'assistente neurale non lavora nel vuoto: condivide l'hardware con il gioco, il codificatore e lo streaming stesso. Prima di allocare memoria, calcolate quanto consumano già gli altri partecipanti. In 1080p il carico principale ricade sul codificatore — hardware sulla scheda video o software sul processore — più il gioco stesso e la cattura dello schermo.

Riferimento pratico: se gioco e codificatore insieme occupano una quota significativa della memoria video, il resto libero andrà al modello, non alla cache — e otterrete cali non per mancanza di memoria, ma per il suo continuo ridistribuirsi. Quindi calcolate non "quanto dare", ma "quanto resta dopo gioco e codificatore".

Modello locale o cloud

Questo è il bivio principale, e da esso dipende tutto.

Un assistente cloud non consuma quasi memoria locale: le richieste passano in rete, sulla vostra macchina resta solo il client. La questione allora non sono i gigabyte, ma la stabilità del canale e la latenza — durante lo streaming attivo l'upload è già impegnato, e l'assistente lo condivide con il video. Se il canale è stretto, l'assistente risponderà con una pausa o competerà con lo streaming per la banda.

Un modello locale tiene i pesi nella memoria video o nella memoria operativa in modo permanente. Qui la memoria è un costo diretto da mettere da parte in anticipo. In compenso non ci sono latenze di rete e l'upload è libero.

Quanta memoria video richiede un modello locale

Le cifre esatte dipendono dal modello e dalla quantizzazione, ma si può calcolare con la formula: numero di parametri moltiplicato per la profondità di bit di archiviazione. Con la quantizzazione a 4 bit ogni miliardo di parametri occupa poco più di mezzo gigabyte — più i costi aggiuntivi per i buffer di servizio e la cache del contesto. Da qui i riferimenti pratici per la VRAM:

• modello da 3–4 miliardi di parametri a 4 bit — circa 2–3 GB;
• 7–8 miliardi di parametri a 4 bit — circa 4,5–5,5 GB;
• 13–14 miliardi di parametri a 4 bit — intorno a 8–9 GB;
• 30–34 miliardi di parametri a 4 bit — circa 18–20 GB.

A questi numeri aggiungete la cache del contesto: cresce con la lunghezza del dialogo e con una lunga conversazione può aggiungere diversi gigabyte in più. La precisione piena invece della quantizzazione aumenta il volume dei pesi di 3–4 volte e con lo streaming in 1080p quasi sempre significa che non resterà memoria video per il gioco.

Quali modelli da 7–8 miliardi scegliere per lo streaming

La classe 7–8B con quantizzazione a 4 bit è la via di mezzo pratica per configurazioni con 12–16 GB di VRAM. Come assistente chat per lo streamer si guardano le versioni instruct di famiglie come Qwen, Llama, Mistral, Gemma: si calcolano in modo prevedibile con la formula sopra e rientrano nei volumi dichiarati. La differenza tra loro sta nella qualità delle risposte in italiano e nel ritmo di generazione, non nei requisiti di memoria — i parametri sono più o meno gli stessi.

Per un assistente che legge la chat e suggerisce reazioni con brevi battute basta un 7–8B con contesto moderato. I modelli da 3–4B sono nettamente più deboli nel testo coerente, ma liberano 2–3 GB per il gioco. I pesi completi, non quantizzati, in 7–8B occuperanno molte volte di più e con lo streaming in 1080p non rientrano nel budget.

Mancanza di VRAM e offload: come cambia il calcolo

Se ai pesi non è bastata la memoria video, parte dei layer passa nella memoria di sistema tramite offload — e il modello continua a funzionare. Il prezzo è la velocità: lo scambio avviene attraverso il bus, l'inferenza rallenta, e vanno in negativo sia la RAM che la VRAM contemporaneamente. L'offload non annulla il calcolo — sposta il consumo dalla VRAM alla RAM e riduce il ritmo delle risposte.

Perciò "mettere un modello più grande e attivare l'offload" durante lo streaming attivo è un compromesso al limite: l'assistente penserà più a lungo e il sistema inizierà a fare swap nei picchi del gioco. Meglio prendere un modello più piccolo e farlo stare interamente nel resto libero.

Memoria operativa

Se il modello gira sulla CPU, il consumo si sposta nella RAM: sempre mezzo gigabyte per miliardo di parametri a 4 bit più i buffer. Un modello 7–8B sul processore occuperà circa 5–6 GB di RAM in aggiunta alle esigenze di sistema, gioco e codificatore, e l'inferenza sulla CPU è nettamente più lenta — l'assistente risponderà con una pausa percepibile. La codifica software in 1080p di per sé carica il processore, e sommarvi l'inferenza sulla stessa CPU è il modo giusto per ottenere drop.

Perché non si può dare tutta la memoria libera

La tentazione è semplice: c'è libero tot — lo do tutto al modello. È un errore. La memoria serve come buffer per i picchi: caricamento degli asset nel gioco, sbalzi di bitrate del codificatore, lavoro di fondo del sistema. Se il modello ha occupato il resto, il sistema inizierà a fare swap — e otterrete freeze di cui non troverete subito la causa. I picchi nello streaming arrivano nei momenti più scomodi — nelle scene dinamiche e al cambio di location.

Con cosa misurare la memoria occupata nel picco

I valori medi del task manager ingannano: vi serve il picco durante il combattimento, non la schermata tranquilla.

• nvidia-smi con aggiornamento in ciclo mostra la VRAM occupata e il limite totale per processo;
• MSI Afterburner con overlay RivaTuner mostra la VRAM occupata e il carico GPU direttamente sopra il gioco — comodo per monitorare il picco a occhio;
• le statistiche integrate o l'overlay del driver danno gli stessi valori senza programmi di terze parti;
• task manager e monitor risorse servono per RAM e swap — lì si vede quando il sistema ha iniziato a scaricare pagine.

Guardate non la media, ma il massimo della sessione: è proprio quello che determina cosa resterà al modello.

Come scegliere il volume per la propria configurazione

1. Avviate gioco e codificatore in modalità operativa 1080p, misurate il picco con nvidia-smi o l'overlay di Afterburner.
2. Sottraete il picco dal volume disponibile — otterrete il limite superiore per il modello con un margine per i picchi.
3. Avviate l'assistente, osservate frame, swap e tempo di risposta.
4. Se compaiono freeze — prima accorciate il contesto, poi abbassate la classe del modello o attivate una quantizzazione più aggressiva, e ripetete finché non spariscono drop e swap.

Il metodo richiede misurazioni ripetute: i picchi cambiano da gioco e da scena.

Cosa fa davvero risparmiare memoria

Se la memoria è scarsa, le leve sono diverse, e ognuna ha il suo prezzo:

• contesto più corto e reset della cronologia riducono il consumo della cache, ma perdete il filo del dialogo;
• un modello più piccolo o una quantizzazione più aggressiva risparmiano gigabyte, ma cala la qualità delle risposte;
• un assistente cloud libera completamente la memoria locale, ma aggiunge latenza e dipendenza dalla rete;
• passare il 1080p al codificatore hardware toglie carico al processore e spesso dà più di quanto dia la scelta dei gigabyte;
• limitare la lunghezza delle risposte e la dimensione della cronologia nelle impostazioni del client mantiene prevedibile il consumo della cache.

Iniziate dal codificatore e dal contesto: sono le misure più economiche in termini di qualità. Toccate quantizzazione e riduzione del modello quando questi passi non sono bastati.