ควรเหลือหน่วยความจำไว้ให้ผู้ช่วย AI เท่าไรเมื่อสตรีมที่ 1080p

ก่อนอื่นให้คำนวณว่าอะไรถูกใช้ไปแล้วบ้าง

ผู้ช่วย AI ไม่ได้ทำงานในสุญญากาศ แต่ใช้ฮาร์ดแวร์ร่วมกับเกม ตัวเข้ารหัส และการสตรีมเอง ก่อนจะจัดสรรหน่วยความจำ ให้คำนวณก่อนว่าผู้ใช้รายอื่นกินไปเท่าไรแล้ว ที่ 1080p ภาระหลักตกอยู่ที่ตัวเข้ารหัส — แบบฮาร์ดแวร์บนการ์ดจอหรือแบบซอฟต์แวร์บนซีพียู — บวกกับตัวเกมและการจับภาพหน้าจอ

แนวทางปฏิบัติ: หากเกมและตัวเข้ารหัสใช้หน่วยความจำวิดีโอร่วมกันในสัดส่วนที่เห็นได้ชัด ส่วนที่เหลือจะถูกใช้ไปกับโมเดล ไม่ใช่แคช — และคุณจะเจออาการกระตุกไม่ใช่เพราะหน่วยความจำไม่พอ แต่เพราะมันถูกจัดสรรใหม่ตลอดเวลา ดังนั้นอย่าคิดว่า "จะให้เท่าไร" แต่ให้คิดว่า "เหลือเท่าไรหลังเกมและตัวเข้ารหัส"

โมเดลโลคัลหรือคลาวด์

นี่คือทางแยกหลัก และทุกอย่างขึ้นอยู่กับมัน

ผู้ช่วยบนคลาวด์แทบไม่กินหน่วยความจำโลคัล เพราะคำขอส่งผ่านเครือข่าย เหลือเพียงไคลเอนต์บนเครื่องคุณ ดังนั้นคำถามจึงไม่ใช่เรื่องกิกะไบต์ แต่เป็นเรื่องความเสถียรของช่องทางและความหน่วง — ระหว่างสตรีมอยู่ อัปโหลดถูกใช้ไปแล้ว และผู้ช่วยต้องแบ่งกับวิดีโอ หากช่องทางแคบ ผู้ช่วยจะตอบช้าหรือแย่งแบนด์วิดท์กับการสตรีม

โมเดลโลคัลเก็บเวตไว้ในหน่วยความจำวิดีโอหรือแรมตลอดเวลา ตรงนี้หน่วยความจำคือค่าใช้จ่ายตรงที่ต้องกันไว้ล่วงหน้า แต่ไม่มีความหน่วงจากเครือข่ายและอัปโหลดว่าง

โมเดลโลคัลต้องใช้หน่วยความจำวิดีโอเท่าไร

ตัวเลขที่แน่นอนขึ้นอยู่กับโมเดลและการควอนไทซ์ แต่คำนวณได้จากสูตร: จำนวนพารามิเตอร์คูณกับความละเอียดบิตในการเก็บ ที่การควอนไทซ์ 4 บิต ทุกหนึ่งพันล้านพารามิเตอร์ใช้พื้นที่มากกว่าครึ่งกิกะไบต์เล็กน้อย — บวกค่าใช้จ่ายส่วนเกินสำหรับบัฟเฟอร์และแคชบริบท ดังนั้นแนวทางปฏิบัติสำหรับ VRAM คือ:

• โมเดล 3–4 พันล้านพารามิเตอร์ที่ 4 บิต — ประมาณ 2–3 GB;
• 7–8 พันล้านพารามิเตอร์ที่ 4 บิต — ประมาณ 4.5–5.5 GB;
• 13–14 พันล้านพารามิเตอร์ที่ 4 บิต — ราว 8–9 GB;
• 30–34 พันล้านพารามิเตอร์ที่ 4 บิต — ราว 18–20 GB

บวกแคชบริบทเข้าไปด้วย: มันโตตามความยาวของบทสนทนา และเมื่อคุยกันยาวอาจเพิ่มได้อีกหลายกิกะไบต์ ความละเอียดเต็มแทนการควอนไทซ์เพิ่มขนาดเวตเป็น 3–4 เท่า และเมื่อสตรีมที่ 1080p แทบจะหมายความว่าจะไม่มีหน่วยความจำวิดีโอเหลือให้เกมเลย

จะเลือกโมเดล 7–8 พันล้านตัวไหนสำหรับสตรีม

คลาส 7–8B ที่ควอนไทซ์ 4 บิตคือจุดกลางที่ใช้งานได้สำหรับเครื่องที่มี VRAM 12–16 GB สำหรับผู้ช่วยแชทของสตรีมเมอร์ มองเวอร์ชัน instruct ของตระกูลอย่าง Qwen, Llama, Mistral, Gemma: คำนวณตามสูตรข้างต้นได้อย่างคาดเดาได้และอยู่ในปริมาณที่ระบุไว้ ความแตกต่างระหว่าง它們อยู่ที่คุณภาพคำตอบภาษาไทยและความเร็วในการสร้าง ไม่ใช่ข้อกำหนดด้านหน่วยความจำ — จำนวนพารามิเตอร์ใกล้เคียงกัน

สำหรับผู้ช่วยที่อ่านแชทและแนะนำการตอบสนองด้วยประโยคสั้น ๆ 7–8B ที่บริบทปานกลางก็เพียงพอ โมเดล 3–4B อ่อนกว่าในเรื่องข้อความที่เชื่อมโยงกันอย่างเห็นได้ชัด แต่ปลดปล่อย 2–3 GB ให้เกม เวตเต็มที่ไม่ควอนไทซ์ที่ 7–8B จะใช้พื้นที่มากกว่าหลายเท่าและไม่พอดีงบเมื่อสตรีมที่ 1080p

VRAM ไม่พอและ offload: สิ่งนี้เปลี่ยนการคำนวณอย่างไร

หากเวตไม่พอสำหรับหน่วยความจำวิดีโอ บางเลเยอร์จะย้ายไปยังหน่วยความจำระบบผ่าน offload — และโมเดลยังทำงานต่อได้ ราคาที่ต้องจ่ายคือความเร็ว: การแลกเปลี่ยนผ่านบัส อินเฟอเรนซ์ช้าลง และทั้ง RAM และ VRAM ถูกใช้ไปพร้อมกัน Offload ไม่ได้ยกเลิกการคำนวณ — มันย้ายค่าใช้จ่ายจาก VRAM ไปยัง RAM และลดความเร็วในการตอบ

ดังนั้น "ใส่โมเดลใหญ่ขึ้นแล้วเปิด offload" ระหว่างสตรีมอยู่คือการประนีประนอมที่เสี่ยง: ผู้ช่วยจะคิดนานขึ้น และระบบจะเริ่มสวอปในช่วงพีคของเกม ควรเลือกโมเดลเล็กกว่าและใส่ให้พอดีในส่วนที่เหลือ

หน่วยความจำระบบ

หากโมเดลรันบน CPU ค่าใช้จ่ายจะย้ายไปที่ RAM: ครึ่งกิกะไบต์ต่อพันล้านพารามิเตอร์ที่ 4 บิตบวกบัฟเฟอร์ โมเดล 7–8B บนโปรเซสเซอร์จะใช้ RAM ประมาณ 5–6 GB เกินความต้องการของระบบ เกม และตัวเข้ารหัส และอินเฟอเรนซ์บน CPU ช้ากว่าอย่างเห็นได้ชัด — ผู้ช่วยจะตอบด้วยความหน่วงที่รู้สึกได้ การเข้ารหัสซอฟต์แวร์ 1080p ก็โหลดซีพียูอยู่แล้ว และการรวมอินเฟอเรนซ์บน CPU เดียวกันเข้าไปด้วยเป็นวิธีที่แน่นอนที่จะเจอดรอป

ทำไมจึงไม่ควรให้หน่วยความจำที่ว่างทั้งหมด

สิ่งล่อใจนั้นง่าย: ว่างเท่านี้ — ให้โมเดลทั้งหมด นั่นคือความผิดพลาด หน่วยความจำจำเป็นเป็นบัฟเฟอร์สำหรับช่วงพีค: การโหลดแอสเซ็ตในเกม การกระโดดของบิตเรตในตัวเข้ารหัส การทำงานเบื้องหลังของระบบ หากโมเดลใช้ส่วนที่เหลือหมด ระบบจะเริ่มสวอป — และคุณจะเจออาการกระตุกที่หาสาเหตุไม่เจอในทันที ช่วงพีคในการสตรีมมาในจังหวะที่ inconvenient ที่สุด — ในฉากไดนามิกและเมื่อเปลี่ยนสถานที่

จะวัดหน่วยความจำที่ใช้ในช่วงพีคได้อย่างไร

ค่าเฉลี่ยจากตัวจัดการงานจะหลอกคุณ: คุณต้องการค่าพีกระหว่างการต่อสู้ ไม่ใช่หน้าจอที่สงบ

• nvidia-smi ที่อัปเดตเป็นรอบแสดง VRAM ที่ใช้และขีดจำกัดรวมตามโปรเซส;
• MSI Afterburner กับ RivaTuner overlay แสดง VRAM ที่ใช้และภาระ GPU ทับบนเกม — สะดวกในการติดตามพีคด้วยตา;
• สถิติในตัวหรือ overlay ของไดรเวอร์ให้ค่าเดียวกันโดยไม่ต้องใช้โปรแกรมอื่น;
• ตัวจัดการงานและ Resource Monitor จำเป็นสำหรับ RAM และสวอป — ตรงนั้นเห็นว่าเมื่อไรระบบเริ่มเขียนหน้าเพจออก

อย่าดูค่าเฉลี่ย แต่ดูค่าสูงสุดตลอดเซสชัน: นั่นคือสิ่งที่กำหนดว่าจะเหลืออะไรให้โมเดล

จะเลือกปริมาณให้เหมาะกับเครื่องของคุณได้อย่างไร

1. เปิดเกมและตัวเข้ารหัสในโหมดจริงที่ 1080p วัดค่าพีคผ่าน nvidia-smi หรือ overlay ของ Afterburner
2. ลบพีคออกจากปริมาณที่มี — จะได้ขอบเขตบนสำหรับโมเดลโดยมีเผื่อสำหรับพีค
3. เปิดผู้ช่วย สังเกตเฟรม สวอป และเวลาตอบ
4. หากมีอาการกระตุก — ก่อนอื่นให้ลดความยาวบริบท จากนั้นลดคลาสของโมเดลหรือเปิดการควอนไทซ์ที่ก้าวร้าวขึ้น และทำซ้ำจนกว่าดรอปและสวอปจะหายไป

วิธีนี้ต้องวัดซ้ำ: ค่าพีคเปลี่ยนตามเกมและฉาก

อะไรประหยัดหน่วยความจำได้จริง

หากหน่วยความจำขาดแคลน มีหลายมาตรการ และแต่ละอย่างมีราคาของมัน:

• บริบทสั้นลงและการรีเซ็ตประวัติลดการใช้แคช แต่คุณสูญเสียเส้นเรื่องของบทสนทนา;
• โมเดลเล็กลงหรือควอนไทซ์ก้าวร้าวขึ้นประหยัดกิกะไบต์ แต่คุณภาพคำตอบลดลง;
• ผู้ช่วยบนคลาวด์ปลดปล่อยหน่วยความจำโลคัลทั้งหมด แต่เพิ่มความหน่วงและการพึ่งพาเครือข่าย;
• การเปลี่ยน 1080p ไปใช้ตัวเข้ารหัสฮาร์ดแวร์ลดภาระซีพียูและมักให้ผลมากกว่าการปรับกิกะไบต์;
• การจำกัดความยาวคำตอบและขนาดประวัติในการตั้งค่าไคลเอนต์ทำให้การใช้แคชคาดเดาได้

เริ่มจากตัวเข้ารหัสและบริบท: นี่คือมาตรการที่ราคาถูกที่สุดในแง่คุณภาพ ค่อยแตะการควอนไทซ์และการลดขนาดโมเดลเมื่อขั้นตอนเหล่านี้ไม่พอ