1080p yayımda neyroşəbəkə köməkçisinə nə qədər yaddaş ayırmaq lazımdır

Əvvəlcə hesablayın ki, nə artıq tutulub

Neyroşəbəkə köməkçisi boşluqda işləmir: o, dəmir yolu oyun, koder və yayımın özü ilə bölüşür. Yaddaş ayırmazdan əvvəl hesablayın ki, digər iştirakçılar nə qədər artıq yeyir. 1080p-də əsas yük koderdə olur — videokartda aparat və ya prosessorda proqram — üstəgəl oyunun özü və ekran tutulması.

Praktik istiqamət: əgər oyun və koder birlikdə video yaddaşın nəzərəçarpan payını tutursa, boş qalan hissə modelə gedəcək, keşə yox — və siz yaddaş çatışmazlığından deyil, onun daim yenidən bölüşdürülməsindən donmalar alacaqsınız. Ona görə "nə qədər vermək" yox, "oyun və koderdən sonra nə qaldı" hesab edin.

Lokal model yoxsa bulud

Bu əsas çəngəldir və hər şey ondan asılıdır.

Bulud köməkçisi lokal yaddaşı demək olar ki, yemir: sorğular şəbəkə ilə gedir, sizin maşınınızda yalnız klient qalır. Onda söhbət giqabaytlarda deyil, kanalın sabitliyində və gecikmədədir — aktiv yayımda yükləmə artıq məşğuldur və köməkçi onu video ilə bölüşür. Əgər kanal dardırsa, köməkçi fasilə ilə cavab verəcək və ya yayımla zolaq uğrunda rəqabət aparacaq.

Lokal model çəkiləri video yaddaşda və ya operativ yaddaşda daim saxlayır. Burada yaddaş əvvəlcədən ayırmaq lazım olan birbaşa xərcdir. Əvəzində şəbəkə gecikmələri yoxdur və yükləmə sərbəstdir.

Lokal model nə qədər video yaddaş tələb edir

Dəqiq rəqəmlər modeldən və kvantlaşdırmadan asılıdır, amma düsturla hesablamaq olar: parametrlərin sayını saxlama bit dərinliyinə vurun. 4 bitlik kvantlaşdırmada hər milyard parametr yarım giqabaytdan bir az çox tutur — üstəgəl xidməti buferlərə və kontekst keşinə əlavə xərclər. Buradan VRAM üzrə işçi istiqamətlər:

• 3–4 milyard parametrli model 4 bitdə — təxminən 2–3 GB;
• 7–8 milyard parametr 4 bitdə — təqribən 4,5–5,5 GB;
• 13–14 milyard parametr 4 bitdə — təxminən 8–9 GB;
• 30–34 milyard parametr 4 bitdə — təxminən 18–20 GB.

Bu rəqəmlərə kontekst keşini əlavə edin: o, dialoqun uzunluğu ilə böyüyür və uzun yazışmada üstəlik bir neçə giqabayt əlavə edə bilər. Kvantlaşdırma əvəzinə tam dəqiqlik çəkilərin həcmini 3–4 dəfə artırır və 1080p yayımda demək olar ki, həmişə o deməkdir ki, oyun üçün video yaddaş qalmayacaq.

Yayım üçün 7–8 milyardlıq modellərdən nə götürmək lazımdır

4 bitlik kvantlaşdırmada 7–8B sinfi 12–16 GB VRAM olan qurğular üçün işçi ortadır. Strimerin çat köməkçisi üçün Qwen, Llama, Mistral, Gemma kimi ailələrin instruct versiyalarına baxılır: onlar yuxarıdakı düsturla proqnozlaşdırıla bilən şəkildə hesablanır və elan olunan həcmlərə sığır. Aralarındakı fərq rus dilində cavabların keyfiyyətində və generasiya tempindədir, yaddaş tələblərində yox — parametrlər təxminən eyni saydadır.

Çatı oxuyan və qısa replikalarla reaksiyaları təklif edən köməkçi üçün mülayim kontekstdə 7–8B kifayət edir. 3–4B modellər əlaqəli mətndə nəzərəçarpan dərəcədə zəifdir, amma oyun üçün 2–3 GB azad edir. 7–8B-də tam, kvantlaşdırılmamış çəkilər qat-qat çox tutacaq və 1080p yayımda büdcəyə sığmayacaq.

VRAM çatışmazlığı və offload: bu hesablamanı necə dəyişir

Əgər çəkilərə video yaddaş çatmadısa, layların bir hissəsi offload vasitəsilə sistem yaddaşına keçir — və model işləməyə davam edir. Bunun haqqı sürətdir: mübadilə şin vasitəsilə gedir, inferens ləngiyir, və eyni zamanda həm RAM, həm də VRAM mənfiyə gedir. Offload hesablamanı ləğv etmir — o, xərci VRAM-dən RAM-a köçürür və cavab tempini aşağı salır.

Ona görə aktiv yayımda "daha böyük model qoyub offload-u yandırmaq" sərhəddə kompromisdir: köməkçi daha uzun düşünəcək, sistem isə oyunun pik anlarında svop etməyə başlayacaq. Daha kiçik model götürüb onu tamamilə boş qalan hissəyə yerləşdirmək daha yaxşıdır.

Operativ yaddaş

Əgər model CPU-da fırlanırsa, xərc RAM-a keçir: 4 bitdə hər milyard parametr üçün eyni yarım giqabayt üstəgəl buferlər. Prosessorda 7–8B model sistemin, oyunun və koderin ehtiyaclarından əlavə təxminən 5–6 GB RAM tutacaq, CPU-da inferens isə nəzərəçarpan dərəcədə yavaş gedir — köməkçi hiss olunan fasilə ilə cavab verəcək. 1080p proqram kodlaşdırması özü prosessoru yükləyir və onunla eyni CPU-da inferensi birləşdirmək drop almağın düzgün yoludur.

Niyə bütün boş yaddaşı vermək olmaz

Yemək asandır: bu qədər boşdur — hamısını modelə verərəm. Bu səhvdir. Yaddaş pik anlar üçün bufer kimi lazımdır: oyunda assetlərin yüklənməsi, koderin bitreyt sıçrayışları, sistemin fon işi. Əgər model qalanı tutsa, sistem svop etməyə başlayacaq — və siz mənbəyini dərhal tapa bilməyəcəyiniz frizlər alacaqsınız. Yayımda pik anlar ən əlverişsiz məqamlarda gəlir — dinamik səhnələrdə və məkan dəyişikliyində.

Pikdə tutulan yaddaşı nə ilə ölçmək lazımdır

Tapşırıq meneceri üzrə orta göstəricilər aldadar: sizə döyüş zamanı pik lazımdır, sakit ekran yox.

• nvidia-smi dövri yenilənmə ilə tutulan VRAM-i və proseslər üzrə ümumi limiti göstərir;
• MSI Afterburner RivaTuner overleyi ilə tutulan VRAM-i və GPU yüklənməsini birbaşa oyunun üstündə çıxarır — piki gözlə izləmək rahatdır;
• daxili statistika və ya drayver overleyi kənar proqramlar olmadan eyni göstəriciləri verir;
• tapşırıq meneceri və resurs monitoru RAM və svop üçün lazımdır — orada sistemin səhifələri nə vaxt çıxarmağa başladığı görünür.

Ortaya yox, sessiya üzrə maksimuma baxın: modelə nə qalacağını məhz o müəyyən edir.

Öz qurğunuza həcmi necə seçmək lazımdır

1. Oyunu və koderi 1080p döyüş rejimində işə salın, piki nvidia-smi və ya Afterburner overleyi ilə ölçün.
2. Piki mövcud həcmdən çıxın — pik anlar üçün ehtiyatla model üçün yuxarı sərhəd alacaqsınız.
3. Köməkçini işə salın, kadrları, svopu və cavab vaxtını izləyin.
4. Əgər frizlər yarandısa — əvvəlcə konteksti qısaldın, sonra model sinfini aşağı salın və ya daha aqressiv kvantlaşdırmanı yandırın, və droplar və svop yox olana qədər təkrarlayın.

Metod təkrar ölçmələr tələb edir: pik anlar oyundan və səhnədən dəyişir.

Həqiqətən yaddaşa nə qənaət edir

Əgər yaddaş qıtlığı varsa, bir neçə rıçaq var və hər birinin öz qiyməti var:

• daha qısa kontekst və tarixçənin sıfırlanması keş xərcini azaldır, amma siz dialoqun ipini itirirsiniz;
• daha kiçik model və ya daha aqressiv kvantlaşdırma giqabaytlara qənaət edir, amma cavabların keyfiyyəti aşağı düşür;
• bulud köməkçisi lokal yaddaşı tamamilə azad edir, əvəzində gecikmə və şəbəkədən asılılıq əlavə edir;
• 1080p-nin aparat koderinə keçirilməsi prosessordan yükü götürür və çox vaxt giqabayt seçimindən daha çox verir;
• klientin ayarlarında cavab uzunluğunun və tarixçə ölçüsünün məhdudlaşdırılması keş xərcini proqnozlaşdırıla bilən saxlayır.

Koderdən və kontekstdən başlayın: bunlar keyfiyyət baxımından ən ucuz tədbirlərdir. Kvantlaşdırmaya və modelin kiçildilməsinə bu addımlar çatmayanda toxunun.