1080p yayında yapay zeka asistanına ne kadar bellek bırakmalı

Önce neyin zaten dolu olduğunu hesaplayın

Yapay zeka asistanı boşlukta çalışmaz: donanımı oyunla, kodlayıcıyla ve yayının kendisiyle paylaşır. Bellek ayırmadan önce diğer katılımcıların ne kadar tükettiğini hesaplayın. 1080p'de ana yük kodlayıcıya düşer — ekran kartındaki donanımsal ya da işlemcideki yazılımsal — ayrıca oyunun kendisine ve ekran yakalamaya.

Pratik ölçüt: oyun ve kodlayıcı birlikte video belleğinin belirgin bir kısmını kaplıyorsa, kalan boşluk modele değil önbelleğe gider — ve düşüşleri bellek yetersizliğinden değil, sürekli yeniden dağıtılmasından yaşarsınız. Bu yüzden "ne kadar vereyim" değil, "oyun ve kodlayıcıdan sonra ne kadar kaldı" diye hesaplayın.

Yerel model mi, bulut mu

Bu ana çataldır ve her şey buna bağlıdır.

Bulut asistanı yerel belleği neredeyse hiç tüketmez: istekler ağ üzerinden gider, makinenizde yalnızca istemci kalır. O zaman soru gigabayt değil, kanal kararlılığı ve gecikmedir — aktif yayında upload zaten meşguldür ve asistan bunu videoyla paylaşır. Kanal darsa asistan duraklamayla yanıt verir ya da yayınla bant genişliği için yarışır.

Yerel model ağırlıkları sürekli olarak video belleğinde veya RAM'de tutar. Burada bellek, önceden ayırmanız gereken doğrudan bir harcamadır. Karşılığında ağ gecikmesi yoktur ve upload serbesttir.

Yerel model ne kadar video belleği ister

Kesin rakamlar modele ve kuantizasyona bağlıdır, ama şu formülle hesaplanabilir: parametre sayısı çarpı saklama bit genişliği. 4 bitlik kuantizasyonda her milyar parametre yarım gigabaytın biraz üzerinde yer kaplar — artı servis tamponları ve bağlam önbelleği için ek yük. Buradan VRAM için çalışma ölçütleri:

• 3–4 milyar parametreli model, 4 bitte — yaklaşık 2–3 GB;
• 7–8 milyar parametre, 4 bitte — yaklaşık 4,5–5,5 GB;
• 13–14 milyar parametre, 4 bitte — yaklaşık 8–9 GB;
• 30–34 milyar parametre, 4 bitte — yaklaşık 18–20 GB.

Bu sayılara bağlam önbelleğini ekleyin: diyalog uzunluğuyla birlikte büyür ve uzun yazışmalarda üstüne birkaç gigabayt ekleyebilir. Kuantizasyon yerine tam hassasiyet, ağırlık hacmini 3–4 kat artırır ve 1080p yayında neredeyse her zaman oyuna video belleği kalmayacağı anlamına gelir.

Yayın için 7–8 milyar parametreli modellerden hangisi seçilmeli

4 bitlik kuantizasyonda 7–8B sınıfı, 12–16 GB VRAM'li sistemler için çalışma ortasıdır. Yayıncı sohbet asistanı için Qwen, Llama, Mistral, Gemma gibi ailelerin instruct sürümlerine bakılır: yukarıdaki formülle öngörülebilir şekilde hesaplanır ve belirtilen hacimlere sığar. Aralarındaki fark Rusça yanıt kalitesinde ve üretim hızındadır, bellek gereksinimlerinde değil — parametre sayısı yaklaşık aynıdır.

Sohbeti okuyup kısa repliklerle tepki öneren bir asistan için orta düzey bağlamda 7–8B yeterlidir. 3–4B modeller tutarlı metinde belirgin şekilde zayıftır ama oyuna 2–3 GB boşaltır. 7–8B'de tam, kuantize edilmemiş ağırlıklar kat kat daha fazla yer kaplar ve 1080p yayında bütçeye sığmaz.

VRAM yetersizliği ve offload: hesabı nasıl değiştirir

Ağırlıklara video belleği yetmezse, katmanların bir kısmı offload ile sistem belleğine geçer — ve model çalışmaya devam eder. Bunun bedeli hızdır: takas veri yolu üzerinden gider, çıkarım yavaşlar ve aynı anda hem RAM hem VRAM eksiye düşer. Offload hesabı iptal etmez — harcamayı VRAM'den RAM'e taşır ve yanıt hızını düşürür.

Bu yüzden aktif yayında "daha büyük model kurup offload'u açayım" sınırda bir uzlaşmadır: asistan daha uzun düşünür ve sistem oyun zirvelerinde swap yapmaya başlar. Daha küçük bir model alıp onu tamamen boş kalan kısma sığdırmak daha iyidir.

Operasyonel bellek

Model CPU'da dönüyorsa harcama RAM'e taşınır: 4 bitte milyar parametre başına aynı yarım gigabayt artı tamponlar. 7–8B model işlemcide sistem, oyun ve kodlayıcı ihtiyaçlarının üstüne yaklaşık 5–6 GB RAM kaplar, CPU'da çıkarım ise belirgin şekilde daha yavaştır — asistan hissedilir bir duraklamayla yanıt verir. 1080p yazılımsal kodlama tek başına işlemciyi yükler ve aynı CPU'da çıkarımı bununla birleştirmek düşüşler yaşamanın kesin yoludur.

Neden tüm boş belleği veremezsiniz

Cazibe basittir: şu kadar boş var — hepsini modele veririm. Bu bir hatadır. Bellek zirveler için tampon olarak gerekir: oyunda varlık yüklemeleri, kodlayıcıda bit hızı sıçramaları, sistemin arka plan çalışması. Model kalanı kaplarsa sistem swap yapmaya başlar — ve kaynağını hemen bulamayacağınız takılmalar yaşarsınız. Yayındaki zirveler en elverişsiz anlarda gelir — dinamik sahnelerde ve konum değişimlerinde.

Zirvede dolu belleği neyle ölçmeli

Görev yöneticisindeki ortalama değerler yanıltır: size sakin ekran değil, savaş sırasındaki zirve gerekir.

• döngüde yenilenen nvidia-smi, dolu VRAM'i ve süreçlere göre toplam limiti gösterir;
• RivaTuner katmanlı MSI Afterburner, dolu VRAM'i ve GPU yükünü doğrudan oyunun üstünde gösterir — zirveyi gözle izlemek için kullanışlıdır;
• yerleşik istatistikler veya sürücü katmanı aynı değerleri üçüncü taraf programlar olmadan verir;
• görev yöneticisi ve kaynak izleyicisi RAM ve swap için gereklidir — sistemin sayfaları ne zaman boşaltmaya başladığı orada görülür.

Ortalamaya değil, oturumdaki maksimuma bakın: modele ne kalacağını belirleyen odur.

Kendi sisteminize göre hacim nasıl seçilir

1. Oyunu ve kodlayıcıyı 1080p'de gerçek modda başlatın, zirveyi nvidia-smi veya Afterburner katmanıyla ölçün.
2. Zirveyi kullanılabilir hacimden çıkarın — zirveler için pay bırakarak model için üst sınırı elde edersiniz.
3. Asistanı başlatın, kareleri, swap'ı ve yanıt süresini izleyin.
4. Takılmalar ortaya çıktıysa önce bağlamı kısaltın, sonra model sınıfını düşürün veya daha agresif kuantizasyonu açın ve düşüşler ile swap kaybolana kadar tekrarlayın.

Yöntem tekrarlı ölçümler gerektirir: zirveler oyuna ve sahneye göre değişir.

Gerçekte ne bellek tasarrufu sağlar

Bellek kıtsa birkaç kaldıraç vardır ve her birinin kendi bedeli vardır:

• daha kısa bağlam ve geçmişi sıfırlama önbellek harcamasını düşürür ama diyalog ipini kaybedersiniz;
• daha küçük model veya daha agresif kuantizasyon gigabaytlar kazandırır ama yanıt kalitesi düşer;
• bulut asistanı yerel belleği tamamen boşaltır ama gecikme ve ağa bağımlılık ekler;
• 1080p'yi donanımsal kodlayıcıya geçirmek işlemci yükünü alır ve çoğu zaman gigabayt seçiminden daha fazlasını kazandırır;
• istemci ayarlarında yanıt uzunluğunu ve geçmiş boyutunu sınırlamak önbellek harcamasını öngörülebilir tutar.

Kodlayıcı ve bağlamla başlayın: kalite açısından en ucuz önlemler bunlardır. Kuantizasyon ve model küçültmeye bu adımlar yetmediğinde dokunun.