Berapa memori yang harus disisakan untuk asisten jaringan saraf saat streaming 1080p

Hitung dulu apa yang sudah terpakai

Asisten jaringan saraf tidak bekerja dalam ruang hampa: ia berbagi perangkat keras dengan game, encoder, dan streaming itu sendiri. Sebelum mengalokasikan memori, hitung berapa yang sudah dimakan peserta lain. Pada 1080p, beban utama jatuh pada encoder — perangkat keras di kartu grafis atau perangkat lunak di prosesor — ditambah game itu sendiri dan penangkapan layar.

Patokan praktis: jika game dan encoder bersama-sama memakai porsi memori video yang signifikan, sisa yang bebas akan habis untuk model, bukan untuk cache — dan Anda akan mendapat penurunan performa bukan karena kekurangan memori, melainkan karena redistribusinya yang terus-menerus. Jadi hitunglah bukan "berapa yang harus diberikan", melainkan "berapa yang tersisa setelah game dan encoder".

Model lokal atau cloud

Ini persimpangan utama, dan semuanya bergantung padanya.

Asisten cloud hampir tidak memakan memori lokal: permintaan dikirim melalui jaringan, di mesin Anda hanya tersisa klien. Pertanyaannya bukan lagi soal gigabyte, melainkan stabilitas kanal dan latensi — saat streaming aktif, unggahan sudah terpakai, dan asisten berbagi kanal itu dengan video. Jika kanal sempit, asisten akan menjawab dengan jeda atau bersaing dengan streaming untuk bandwidth.

Model lokal menyimpan bobot di memori video atau memori operasional secara permanen. Di sini memori adalah pengeluaran langsung yang harus disisihkan sebelumnya. Namun tidak ada latensi jaringan dan unggahan tetap bebas.

Berapa memori video yang dibutuhkan model lokal

Angka pastinya bergantung pada model dan kuantisasi, tetapi bisa dihitung dengan rumus: jumlah parameter dikalikan lebar bit penyimpanan. Pada kuantisasi 4 bit, setiap miliar parameter memakan sedikit lebih dari setengah gigabyte — ditambah biaya tambahan untuk buffer layanan dan cache konteks. Dari sini muncul patokan kerja untuk VRAM:

• model 3–4 miliar parameter dalam 4 bit — sekitar 2–3 GB;
• 7–8 miliar parameter dalam 4 bit — kira-kira 4,5–5,5 GB;
• 13–14 miliar parameter dalam 4 bit — sekitar 8–9 GB;
• 30–34 miliar parameter dalam 4 bit — sekitar 18–20 GB.

Tambahkan cache konteks ke angka-angka ini: ia tumbuh seiring panjang dialog dan pada percakapan panjang bisa menambah beberapa gigabyte lagi. Presisi penuh alih-alih kuantisasi memperbesar volume bobot 3–4 kali lipat dan pada streaming 1080p hampir selalu berarti tidak ada memori video tersisa untuk game.

Model 7–8 miliar mana yang cocok untuk streaming

Kelas 7–8B dalam kuantisasi 4 bit adalah jalan tengah yang praktis untuk rakitan dengan VRAM 12–16 GB. Untuk asisten chat streamer, orang melihat versi instruct dari keluarga seperti Qwen, Llama, Mistral, Gemma: semuanya dapat diprediksi dengan rumus di atas dan masuk ke volume yang dinyatakan. Perbedaan di antara mereka terletak pada kualitas jawaban dalam bahasa Rusia dan kecepatan generasi, bukan pada kebutuhan memori — jumlah parameternya kurang lebih sama.

Untuk asisten yang membaca chat dan menyarankan reaksi dengan kalimat pendek, 7–8B dengan konteks moderat sudah cukup. Model 3–4B jauh lebih lemah dalam teks yang koheren, tetapi membebaskan 2–3 GB untuk game. Bobot penuh yang tidak dikuantisasi pada 7–8B akan memakan jauh lebih banyak dan tidak masuk anggaran pada streaming 1080p.

Kekurangan VRAM dan offload: bagaimana ini mengubah perhitungan

Jika bobot tidak cukup mendapat memori video, sebagian lapisan pindah ke memori sistem melalui offload — dan model tetap berjalan. Harganya adalah kecepatan: pertukaran berlangsung melalui bus, inferensi melambat, dan RAM serta VRAM sama-sama terkuras sekaligus. Offload tidak membatalkan perhitungan — ia memindahkan pengeluaran dari VRAM ke RAM dan menurunkan kecepatan jawaban.

Karena itu, "pasang model lebih besar dan aktifkan offload" saat streaming aktif adalah kompromi di ambang batas: asisten akan berpikir lebih lama, dan sistem mulai melakukan swap pada puncak beban game. Lebih baik mengambil model lebih kecil dan memasukkannya sepenuhnya ke sisa yang bebas.

Memori operasional

Jika model berjalan di CPU, pengeluarannya pindah ke RAM: setengah gigabyte yang sama per miliar parameter dalam 4 bit ditambah buffer. Model 7–8B di prosesor akan memakan sekitar 5–6 GB RAM di atas kebutuhan sistem, game, dan encoder, sedangkan inferensi di CPU berjalan jauh lebih lambat — asisten akan menjawab dengan jeda yang terasa. Pengodean perangkat lunak 1080p sendiri sudah membebani prosesor, dan menumpuk inferensi di CPU yang sama adalah cara pasti untuk mendapat drop.

Mengapa tidak boleh memberikan seluruh memori bebas

Godaannya sederhana: yang bebas sekian — berikan semuanya ke model. Itu kesalahan. Memori dibutuhkan sebagai buffer untuk puncak beban: pemuatan aset dalam game, lonjakan bitrate pada encoder, kerja latar sistem. Jika model mengambil seluruh sisa, sistem akan mulai melakukan swap — dan Anda mendapat freeze yang sumbernya tidak langsung Anda temukan. Puncak beban dalam streaming datang di saat paling tidak nyaman — pada adegan dinamis dan saat pergantian lokasi.

Dengan apa mengukur memori terpakai pada puncak

Nilai rata-rata di Task Manager akan menipu: Anda butuh puncak selama pertarungan, bukan layar tenang.

• nvidia-smi dengan pembaruan dalam siklus menunjukkan VRAM terpakai dan batas total per proses;
• MSI Afterburner dengan overlay RivaTuner menampilkan VRAM terpakai dan beban GPU langsung di atas game — nyaman untuk memantau puncak secara visual;
• statistik bawaan atau overlay driver memberikan nilai yang sama tanpa program pihak ketiga;
• Task Manager dan Resource Monitor diperlukan untuk RAM dan swap — di sana terlihat kapan sistem mulai mengeluarkan halaman.

Lihatlah bukan rata-rata, melainkan maksimum per sesi: itulah yang menentukan apa yang tersisa untuk model.

Cara memilih volume untuk rakitan Anda

1. Jalankan game dan encoder dalam mode tempur 1080p, ukur puncaknya melalui nvidia-smi atau overlay Afterburner.
2. Kurangi puncak itu dari volume yang tersedia — Anda mendapat batas atas untuk model dengan cadangan untuk puncak beban.
3. Jalankan asisten, pantau frame, swap, dan waktu respons.
4. Jika muncul freeze — pertama perpendek konteks, lalu turunkan kelas model atau aktifkan kuantisasi yang lebih agresif, dan ulangi sampai drop dan swap hilang.

Metode ini memerlukan pengukuran berulang: puncak beban berubah tergantung game dan adegan.

Apa yang benar-benar menghemat memori

Jika memori sedang defisit, ada beberapa tuas, dan masing-masing punya harganya sendiri:

• konteks lebih pendek dan reset riwayat menurunkan pemakaian cache, tetapi Anda kehilangan alur dialog;
• model lebih kecil atau kuantisasi lebih agresif menghemat gigabyte, tetapi kualitas jawaban menurun;
• asisten cloud membebaskan memori lokal sepenuhnya, tetapi menambah latensi dan ketergantungan pada jaringan;
• memindahkan 1080p ke encoder perangkat keras mengurangi beban prosesor dan sering memberi lebih banyak daripada mengatur gigabyte;
• membatasi panjang jawaban dan ukuran riwayat di pengaturan klien menjaga pemakaian cache tetap dapat diprediksi.

Mulailah dari encoder dan konteks: ini adalah langkah yang paling murah dari segi kualitas. Sentuh kuantisasi dan pengecilan model ketika langkah-langkah itu belum cukup.