Koliko pomnilnika pustiti nevronski mreži-pomočniku pri prenosu v živo v 1080p

Najprej izračunajte, kaj je že zasedeno

Nevronska mreža-pomočnik ne deluje v vakuumu: strojno opremo si deli z igro, koderjem in samim prenosom v živo. Preden dodelite pomnilnik, izračunajte, koliko ga že požrejo ostali udeleženci. Pri 1080p glavno breme pade na koder — strojni na grafični kartici ali programski na procesorju — poleg tega pa še na samo igro in zajem zaslona.

Praktična smernica: če igra in koder skupaj zasedata opazen delež video pomnilnika, bo prosti ostanek šel za model in ne za predpomnilnik — in dobili boste zatikanje ne zaradi pomanjkanja pomnilnika, ampak zaradi njegovega nenehnega prerazporejanja. Zato računajte ne »koliko dati«, ampak »koliko je ostalo po igri in koderju«.

Lokalni model ali oblak

To je glavna razcepka in od nje je odvisno vse.

Oblačni pomočnik skoraj ne požre lokalnega pomnilnika: zahteve potujejo po omrežju, na vašem računalniku ostane le odjemalec. Vprašanje potem ni v gigabajtih, ampak v stabilnosti kanala in zakasnitvi — med aktivnim prenosom v živo je upload že zaseden in pomočnik si ga deli z videom. Če je kanal ozek, bo pomočnik odgovarjal z zamikom ali pa se bo za pasovno širino potegoval s prenosom v živo.

Lokalni model ima uteži stalno v video pomnilniku ali operativnem pomnilniku. Tu je pomnilnik neposreden strošek, ki ga je treba rezervirati vnaprej. Zato pa ni omrežnih zakasnitev in upload je prost.

Koliko video pomnilnika zahteva lokalni model

Natančne številke so odvisne od modela in kvantizacije, a izračunate jih lahko po formuli: število parametrov pomnožite s širino shranjevanja. Pri 4-bitni kvantizaciji vsaka milijarda parametrov zavzame malo več kot pol gigabajta — plus režijski stroški za servisne medpomnilnike in predpomnilnik konteksta. Od tod delovne smernice za VRAM:

• model s 3–4 milijardami parametrov v 4 bitih — približno 2–3 GB;
• 7–8 milijard parametrov v 4 bitih — približno 4,5–5,5 GB;
• 13–14 milijard parametrov v 4 bitih — okoli 8–9 GB;
• 30–34 milijard parametrov v 4 bitih — okoli 18–20 GB.

Tem številkam dodajte predpomnilnik konteksta: ta raste z dolžino pogovora in pri dolgem dopisovanju lahko doda še nekaj gigabajtov povrhu. Polna natančnost namesto kvantizacije poveča obseg uteži za 3–4-krat in pri prenosu v živo v 1080p skoraj vedno pomeni, da za igro ne bo ostalo video pomnilnika.

Katere modele s 7–8 milijardami vzeti za prenos v živo

Razred 7–8B v 4-bitni kvantizaciji je delovna sredina za sestave z 12–16 GB VRAM. Za klepetalnega pomočnika streamerja gledajo na instruct-različice družin, kot so Qwen, Llama, Mistral, Gemma: te se predvidljivo izračunajo po zgornji formuli in se ujemajo z navedenimi obsegi. Razlika med njimi je v kakovosti odgovorov v slovenščini in v tempu generiranja, ne v zahtevah po pomnilniku — parametrov je približno enako.

Za pomočnika, ki bere klepet in s kratkimi replikami namiguje na odzive, zadostuje 7–8B pri zmernem kontekstu. Modeli s 3–4B so opazno šibkejši v povezanem besedilu, a sprostijo 2–3 GB za igro. Polne, nekvanizirane uteži pri 7–8B bodo zavzele večkrat več in se pri prenosu v živo v 1080p ne bodo vključile v proračun.

Pomanjkanje VRAM in offload: kako to spremeni izračun

Če utežem ni bilo dovolj video pomnilnika, del plasti odide v sistemski pomnilnik prek offloada — in model deluje naprej. Cena za to je hitrost: izmenjava poteka po vodilu, inferenca se upočasni, v minus pa gre hkrati RAM in VRAM. Offload ne odpravi izračuna — strošek prestavi iz VRAM v RAM in zniža tempo odgovorov.

Zato je »postaviti večji model in vklopiti offload« med aktivnim prenosom v živo kompromis na meji: pomočnik bo razmišljal dlje, sistem pa bo začel izmenjevati (swap) ob konicah igre. Bolje je vzeti manjši model in ga v celoti spraviti v prosti ostanek.

Operativni pomnilnik

Če se model vrti na CPU, se strošek preseli v RAM: isti pol gigabajta na milijardo parametrov v 4 bitih plus medpomnilniki. Model 7–8B na procesorju bo zavzel približno 5–6 GB RAM povrhu potreb sistema, igre in koderja, inferenca na CPU pa poteka opazno počasneje — pomočnik bo odgovarjal z občutnim zamikom. Programsko kodiranje 1080p samo po sebi obremenjuje procesor in dodajanje inference na isti CPU je zanesljiv način za izpade.

Zakaj ne smete dati vsega prostega pomnilnika

Skomin je preprost: prostega je toliko — dal bom vse modelu. To je napaka. Pomnilnik je potreben kot medpomnilnik za konice: nalaganje sredstev v igri, skoki bitne hitrosti pri koderju, delo sistema v ozadju. Če model zasede ostanek, bo sistem začel izmenjevati (swap) — in dobili boste zatikanje, katerega vira ne boste takoj našli. Konice pri prenosu v živo pridejo v najbolj neprijetnih trenutkih — pri dinamičnih prizorih in ob menjavi lokacij.

S čim meriti zaseden pomnilnik na konici

Povprečne vrednosti v upravitelju opravil vas bodo zavedle: potrebujete konico med bojem, ne mirnega zaslona.

• nvidia-smi s cikličnim osveževanjem prikazuje zaseden VRAM in skupno omejitev po procesih;
• MSI Afterburner z RivaTuner prekrivnim slojem izpiše zaseden VRAM in obremenitev GPU kar čez igro — priročno za spremljanje konice na oko;
• vgrajena statistika ali prekrivni sloj gonilnika daje enake vrednosti brez dodatnih programov;
• upravitelj opravil in monitor virov sta potrebna za RAM in swap — tam se vidi, kdaj je sistem začel izpisovati strani.

Glejte ne povprečja, ampak maksimum v seji: prav ta določa, kaj bo ostalo modelu.

Kako izbrati obseg za svojo sestavo

1. Zaženite igro in koder v bojnem načinu 1080p, izmerite konico prek nvidia-smi ali prekrivnega sloja Afterburner.
2. Odštejte konico od razpoložljivega obsega — dobite zgornjo mejo za model z rezervo za konice.
3. Zaženite pomočnika, opazujte sličice, swap in čas odgovora.
4. Če se pojavi zatikanje — najprej skrajšajte kontekst, nato znižajte razred modela ali vklopite agresivnejšo kvantizacijo, in ponavljajte, dokler ne izginejo izpadi in swap.

Metoda zahteva ponovne meritve: konice se spreminjajo glede na igro in prizor.

Kaj v resnici prihrani pomnilnik

Če je pomnilnika premalo, je vzvodov več in vsak ima svojo ceno:

• krajši kontekst in ponastavitev zgodovine znižata porabo predpomnilnika, a izgubite nit pogovora;
• manjši model ali agresivnejša kvantizacija prihranita gigabajte, a kakovost odgovorov pade;
• oblačni pomočnik popolnoma sprosti lokalni pomnilnik, a doda zakasnitev in odvisnost od omrežja;
• prehod 1080p na strojni koder razbremeni procesor in pogosto prinese več kot izbiranje gigabajtov;
• omejitev dolžine odgovora in velikosti zgodovine v nastavitvah odjemalca drži porabo predpomnilnika predvidljivo.

Začnite s koderjem in kontekstom: to sta ukrepa, ki najmanj prizadeneta kakovost. Kvantizacije in zmanjševanja modela se lotite, ko ti koraki niso zadostovali.