Cần để lại bao nhiêu bộ nhớ cho trợ lý AI khi stream ở 1080p

Trước tiên hãy tính xem cái gì đã chiếm chỗ

Trợ lý AI không hoạt động trong chân không: nó chia sẻ phần cứng với game, bộ mã hóa và chính buổi stream. Trước khi cấp bộ nhớ, hãy tính xem những thành phần còn lại đã ngốn bao nhiêu. Ở 1080p, tải chính dồn lên bộ mã hóa — phần cứng trên card đồ họa hoặc phần mềm trên CPU — cộng thêm bản thân game và việc thu màn hình.

Mốc thực tế: nếu game và bộ mã hóa cùng chiếm một phần đáng kể bộ nhớ video, phần còn trống sẽ dành cho mô hình chứ không phải cho bộ đệm — và bạn sẽ gặp tụt khung hình không phải vì thiếu bộ nhớ mà vì nó liên tục bị phân bổ lại. Vì vậy đừng tính "cấp bao nhiêu" mà hãy tính "còn lại bao nhiêu sau game và bộ mã hóa".

Mô hình cục bộ hay đám mây

Đây là ngã rẽ chính, và mọi thứ phụ thuộc vào nó.

Trợ lý đám mây gần như không ăn bộ nhớ cục bộ: các yêu cầu đi qua mạng, trên máy bạn chỉ còn lại client. Khi đó vấn đề không phải là gigabyte mà là độ ổn định của kênh và độ trễ — khi đang stream, băng thông tải lên đã bận, và trợ lý phải chia sẻ nó với video. Nếu kênh hẹp, trợ lý sẽ trả lời chậm hoặc tranh băng thông với stream.

Mô hình cục bộ giữ trọng số trong bộ nhớ video hoặc bộ nhớ RAM thường trực. Ở đây bộ nhớ là chi phí trực tiếp cần dự trù trước. Bù lại không có độ trễ mạng và băng thông tải lên được giải phóng.

Mô hình cục bộ cần bao nhiêu bộ nhớ video

Con số chính xác phụ thuộc vào mô hình và lượng tử hóa, nhưng có thể tính theo công thức: số tham số nhân với độ rộng bit lưu trữ. Với lượng tử hóa 4 bit, mỗi tỷ tham số chiếm hơn nửa gigabyte một chút — cộng thêm chi phí phụ cho các bộ đệm phụ trợ và bộ đệm ngữ cảnh. Từ đó có các mốc thực tế theo VRAM:

• mô hình 3–4 tỷ tham số ở 4 bit — khoảng 2–3 GB;
• 7–8 tỷ tham số ở 4 bit — khoảng 4,5–5,5 GB;
• 13–14 tỷ tham số ở 4 bit — khoảng 8–9 GB;
• 30–34 tỷ tham số ở 4 bit — khoảng 18–20 GB.

Hãy cộng thêm bộ đệm ngữ cảnh vào những con số này: nó tăng theo độ dài cuộc hội thoại và với đoạn trò chuyện dài có thể cộng thêm vài gigabyte. Độ chính xác đầy đủ thay vì lượng tử hóa làm tăng khối lượng trọng số lên 3–4 lần và khi stream 1080p gần như luôn có nghĩa là sẽ không còn bộ nhớ video cho game.

Nên chọn mô hình 7–8 tỷ nào để stream

Lớp 7–8B ở lượng tử hóa 4 bit là mức trung dung thực tế cho cấu hình 12–16 GB VRAM. Với trợ lý chat của streamer, người ta thường xem các phiên bản instruct thuộc các dòng như Qwen, Llama, Mistral, Gemma: chúng được tính theo công thức trên một cách ổn định và nằm gọn trong khối lượng đã nêu. Khác biệt giữa chúng nằm ở chất lượng trả lời tiếng Nga và tốc độ sinh chữ, chứ không phải ở yêu cầu bộ nhớ — số tham số gần như tương đương.

Với trợ lý đọc chat và gợi ý phản ứng bằng những câu ngắn, 7–8B với ngữ cảnh vừa phải là đủ. Các mô hình 3–4B yếu hơn rõ rệt về văn bản mạch lạc, nhưng giải phóng 2–3 GB cho game. Trọng số đầy đủ, không lượng tử hóa ở 7–8B sẽ chiếm nhiều gấp bội và không vừa ngân sách khi stream 1080p.

Thiếu VRAM và offload: điều này thay đổi cách tính thế nào

Nếu trọng số không đủ bộ nhớ video, một phần các lớp sẽ chuyển sang bộ nhớ hệ thống qua offload — và mô hình vẫn tiếp tục chạy. Cái giá phải trả là tốc độ: việc trao đổi đi qua bus, suy luận chậm lại, và cả RAM lẫn VRAM đều bị tiêu tốn cùng lúc. Offload không thay thế việc tính toán — nó chuyển chi phí từ VRAM sang RAM và làm giảm tốc độ trả lời.

Vì vậy "đặt mô hình lớn hơn và bật offload" khi đang stream là một thỏa hiệp sát giới hạn: trợ lý sẽ nghĩ lâu hơn, và hệ thống sẽ bắt đầu swap dưới các đỉnh tải của game. Tốt hơn là chọn mô hình nhỏ hơn và đặt trọn nó vào phần còn trống.

Bộ nhớ RAM

Nếu mô hình chạy trên CPU, chi phí chuyển sang RAM: vẫn nửa gigabyte mỗi tỷ tham số ở 4 bit cộng thêm các bộ đệm. Mô hình 7–8B trên CPU sẽ chiếm khoảng 5–6 GB RAM ngoài nhu cầu của hệ thống, game và bộ mã hóa, còn suy luận trên CPU chạy chậm hơn rõ rệt — trợ lý sẽ trả lời với độ trễ đáng kể. Mã hóa phần mềm 1080p tự nó đã tải CPU, và gộp suy luận trên cùng CPU đó là cách chắc chắn để có drop.

Vì sao không thể cấp hết bộ nhớ trống

Cám dỗ rất đơn giản: trống bao nhiêu — cấp hết cho mô hình. Đó là sai lầm. Bộ nhớ cần làm bộ đệm cho các đỉnh tải: nạp tài nguyên trong game, biến động bitrate của bộ mã hóa, hoạt động nền của hệ thống. Nếu mô hình chiếm hết phần còn lại, hệ thống sẽ bắt đầu swap — và bạn sẽ gặp giật lag mà không dễ tìm ra nguồn gốc. Các đỉnh tải trong stream đến vào những thời điểm khó chịu nhất — ở cảnh động và khi chuyển địa điểm.

Đo bộ nhớ đã dùng ở đỉnh bằng gì

Giá trị trung bình trên Task Manager sẽ đánh lừa bạn: bạn cần đỉnh trong lúc giao chiến, chứ không phải màn hình yên ắng.

• nvidia-smi cập nhật theo chu kỳ hiển thị VRAM đã dùng và giới hạn tổng theo tiến trình;
• MSI Afterburner với overlay RivaTuner hiển thị VRAM đã dùng và tải GPU ngay trên game — tiện theo dõi đỉnh bằng mắt;
• thống kê tích hợp hoặc overlay của driver cho cùng giá trị mà không cần phần mềm bên thứ ba;
• Task Manager và Resource Monitor cần cho RAM và swap — ở đó thấy được khi hệ thống bắt đầu đẩy trang ra ngoài.

Đừng xem giá trị trung bình mà xem mức tối đa trong phiên: chính nó quyết định phần còn lại cho mô hình.

Cách chọn khối lượng cho cấu hình của bạn

1. Chạy game và bộ mã hóa ở chế độ thực chiến 1080p, đo đỉnh qua nvidia-smi hoặc overlay Afterburner.
2. Lấy khối lượng khả dụng trừ đi đỉnh — bạn được giới hạn trên cho mô hình với dự phòng cho các đỉnh tải.
3. Chạy trợ lý, theo dõi khung hình, swap và thời gian trả lời.
4. Nếu xuất hiện giật lag — trước tiên rút ngắn ngữ cảnh, sau đó hạ lớp mô hình hoặc bật lượng tử hóa mạnh hơn, và lặp lại cho đến khi hết drop và swap.

Phương pháp này đòi hỏi đo lại nhiều lần: các đỉnh thay đổi tùy game và cảnh.

Cái gì thực sự tiết kiệm bộ nhớ

Nếu bộ nhớ đang thiếu, có vài đòn bẩy, và mỗi cái có cái giá riêng:

• ngữ cảnh ngắn hơn và xóa lịch sử giảm chi phí bộ đệm, nhưng bạn mất mạch hội thoại;
• mô hình nhỏ hơn hoặc lượng tử hóa mạnh hơn tiết kiệm hàng gigabyte, nhưng chất lượng trả lời giảm;
• trợ lý đám mây giải phóng hoàn toàn bộ nhớ cục bộ, đổi lại thêm độ trễ và phụ thuộc vào mạng;
• chuyển 1080p sang bộ mã hóa phần cứng giảm tải CPU và thường mang lại nhiều hơn là việc cân chỉnh từng gigabyte;
• giới hạn độ dài trả lời và kích thước lịch sử trong cài đặt client giữ chi phí bộ đệm ở mức dự đoán được.

Hãy bắt đầu từ bộ mã hóa và ngữ cảnh: đây là những biện pháp rẻ nhất về chất lượng. Chỉ động đến lượng tử hóa và giảm mô hình khi những bước này chưa đủ.