1080p স্ট্রিমে নিউরাল নেটওয়ার্ক সহায়কের জন্য কত মেমরি রাখবেন

প্রথমে হিসাব করুন কী কী ইতিমধ্যে দখল হয়ে আছে

নিউরাল নেটওয়ার্ক সহায়ক শূন্যতায় কাজ করে না: সে গেম, এনকোডার এবং স্ট্রিমের সাথেই হার্ডওয়্যার ভাগ করে নেয়। মেমরি বরাদ্দ করার আগে হিসাব করুন বাকি অংশগ্রহণকারীরা ইতিমধ্যে কতটা খরচ করছে। 1080p-তে মূল চাপ পড়ে এনকোডারের উপর — ভিডিও কার্ডে হার্ডওয়্যারভিত্তিক বা প্রসেসরে সফটওয়্যারভিত্তিক — সাথে গেম এবং স্ক্রিন ক্যাপচার।

ব্যবহারিক দিশা: গেম ও এনকোডার একসাথে ভিডিও মেমরির উল্লেখযোগ্য অংশ দখল করলে, বাকি খালি অংশ মডেলের জন্য যাবে, ক্যাশের জন্য নয় — এবং আপনি মেমরির অভাব নয়, বরং তার অবিরাম পুনর্বণ্টনের কারণে পারফরম্যান্স ড্রপ পাবেন। তাই ভাবুন "কত দেব" নয়, "গেম ও এনকোডারের পরে কত বাকি রইল"।

লোকাল মডেল নাকি ক্লাউড

এটাই মূল দ্বিধা, এবং এর উপরেই সবকিছু নির্ভর করে।

ক্লাউড সহায়ক প্রায় কোনো লোকাল মেমরি খরচ করে না: অনুরোধ নেটওয়ার্কে চলে যায়, আপনার মেশিনে শুধু ক্লায়েন্ট থাকে। তখন প্রশ্ন গিগাবাইটে নয়, চ্যানেলের স্থিতিশীলতা ও লেটেন্সিতে — সক্রিয় স্ট্রিমে আপলোড ইতিমধ্যে ব্যস্ত, এবং সহায়ক তা ভিডিওর সাথে ভাগ করে নেয়। চ্যানেল সংকীর্ণ হলে সহায়ক বিরতি দিয়ে উত্তর দেবে বা স্ট্রিমের সাথে ব্যান্ডউইথের জন্য প্রতিযোগিতা করবে।

লোকাল মডেল ওজন ভিডিও মেমরিতে বা র‍্যামে স্থায়ীভাবে রাখে। এখানে মেমরি সরাসরি খরচ, যা আগেই আলাদা রাখতে হবে। তবে নেটওয়ার্ক লেটেন্সি নেই এবং আপলোড খালি থাকে।

লোকাল মডেলের কত ভিডিও মেমরি লাগে

সঠিক সংখ্যা মডেল ও কোয়ান্টাইজেশনের উপর নির্ভর করে, তবে সূত্র দিয়ে হিসাব করা যায়: প্যারামিটারের সংখ্যা গুণ স্টোরেজের বিট-প্রস্থ। 4-বিট কোয়ান্টাইজেশনে প্রতি বিলিয়ন প্যারামিটার দখল করে সোয়া গিগাবাইটের একটু বেশি — সাথে সার্ভিস বাফার ও কনটেক্সট ক্যাশের অতিরিক্ত খরচ। এখান থেকে VRAM-এর কার্যকর দিশা:

• 3–4 বিলিয়ন প্যারামিটারের মডেল 4 বিটে — প্রায় 2–3 GB;
• 7–8 বিলিয়ন প্যারামিটার 4 বিটে — আনুমানিক 4.5–5.5 GB;
• 13–14 বিলিয়ন প্যারামিটার 4 বিটে — প্রায় 8–9 GB;
• 30–34 বিলিয়ন প্যারামিটার 4 বিটে — প্রায় 18–20 GB।

এই সংখ্যাগুলোর সাথে কনটেক্সট ক্যাশ যোগ করুন: এটি সংলাপের দৈর্ঘ্যের সাথে বাড়ে এবং দীর্ঘ চ্যাটে উপরে আরও কয়েক গিগাবাইট যোগ করতে পারে। কোয়ান্টাইজেশনের বদলে পূর্ণ নির্ভুলতা ওজনের আয়তন 3–4 গুণ বাড়ায় এবং 1080p স্ট্রিমে প্রায় সবসময়ই এর অর্থ হলো গেমের জন্য ভিডিও মেমরি আর থাকবে না।

স্ট্রিমের জন্য 7–8 বিলিয়নের মডেল থেকে কী নেবেন

4-বিট কোয়ান্টাইজেশনে 7–8B শ্রেণি হলো 12–16 GB VRAM-এর সেটআপের জন্য কার্যকর মধ্যপথ। স্ট্রিমারের চ্যাট-সহায়কের জন্য Qwen, Llama, Mistral, Gemma-র মতো পরিবারের instruct সংস্করণগুলো দেখা হয়: এগুলো উপরের সূত্রে পূর্বানুমেয়ভাবে হিসাব হয় এবং ঘোষিত আয়তনে ফিট করে। এদের মধ্যে পার্থক্য রুশ ভাষায় উত্তরের গুণে ও জেনারেশনের গতিতে, মেমরির চাহিদায় নয় — প্যারামিটার প্রায় সমান।

যে সহায়ক চ্যাট পড়ে এবং সংক্ষিপ্ত মন্তব্যে প্রতিক্রিয়া সূচিত করে, তার জন্য মাঝারি কনটেক্সটে 7–8B যথেষ্ট। 3–4B মডেল সংযুক্ত টেক্সটে উল্লেখযোগ্যভাবে দুর্বল, তবে গেমের জন্য 2–3 GB খালি করে দেয়। 7–8B-তে পূর্ণ, অ-কোয়ান্টাইজড ওজন বহুগুণ বেশি জায়গা নেবে এবং 1080p স্ট্রিমে বাজেটে ফিট করবে না।

VRAM-এর ঘাটতি ও offload: এটি হিসাব কীভাবে বদলায়

ওজনের জন্য ভিডিও মেমরি না হলে, offload-এর মাধ্যমে কিছু স্তর সিস্টেম মেমরিতে চলে যায় — এবং মডেল কাজ করতে থাকে। এর মূল্য গতি: বিনিময় বাসের মধ্য দিয়ে হয়, ইনফারেন্স ধীর হয়, এবং একসাথে RAM ও VRAM দুটোই ক্ষতিগ্রস্ত হয়। Offload হিসাব বাতিল করে না — এটি খরচ VRAM থেকে RAM-এ সরায় এবং উত্তরের গতি কমায়।

তাই সক্রিয় স্ট্রিমে "বড় মডেল বসিয়ে offload চালু করা" একটি সীমান্তবর্তী সমঝোতা: সহায়ক বেশি ভাববে, আর সিস্টেম গেমের পিকে swap করতে শুরু করবে। বরং ছোট মডেল নিয়ে সেটি সম্পূর্ণভাবে খালি অবশিষ্টাংশে ফিট করানো ভালো।

র‍্যাম

মডেল CPU-তে চললে খরচ RAM-এ চলে যায়: 4 বিটে প্রতি বিলিয়ন প্যারামিটারে একই সোয়া গিগাবাইট প্লাস বাফার। প্রসেসরে 7–8B মডেল সিস্টেম, গেম ও এনকোডারের প্রয়োজনের অতিরিক্ত প্রায় 5–6 GB RAM নেবে, আর CPU-তে ইনফারেন্স উল্লেখযোগ্যভাবে ধীর — সহায়ক লক্ষণীয় বিরতি দিয়ে উত্তর দেবে। 1080p-র সফটওয়্যার এনকোডিং নিজেই প্রসেসরে চাপ দেয়, এবং তার সাথে একই CPU-তে ইনফারেন্স যোগ করা ড্রপ পাওয়ার নিশ্চিত উপায়।

কেন সব খালি মেমরি দেওয়া যাবে না

প্রলোভন সহজ: এতটা খালি আছে — সবটাই মডেলকে দিয়ে দেব। এটি ভুল। পিকের জন্য বাফার হিসেবে মেমরি দরকার: গেমে অ্যাসেট লোডিং, এনকোডারের বিটরেটের লাফ, সিস্টেমের ব্যাকগ্রাউন্ড কাজ। মডেল যদি অবশিষ্টাংশ দখল করে, সিস্টেম swap করতে শুরু করবে — এবং আপনি ফ্রিজ পাবেন, যার উৎস সাথে সাথে খুঁজে পাবেন না। স্ট্রিমে পিক আসে সবচেয়ে অসুবিধাজনক মুহূর্তে — গতিশীল দৃশ্যে ও লোকেশন বদলের সময়।

পিকে দখল করা মেমরি কী দিয়ে মাপবেন

টাস্ক ম্যানেজারের গড় মান আপনাকে বিভ্রান্ত করবে: আপনার দরকার যুদ্ধের সময়ের পিক, শান্ত স্ক্রিনের নয়।

• লুপে রিফ্রেশসহ nvidia-smi দখল করা VRAM ও প্রসেস অনুযায়ী মোট লিমিট দেখায়;
• RivaTuner ওভারলেসহ MSI Afterburner গেমের উপরে সরাসরি দখল করা VRAM ও GPU লোড দেখায় — চোখে পিক ট্র্যাক করা সুবিধাজনক;
• বিল্ট-ইন স্ট্যাটিস্টিকস বা ড্রাইভার ওভারলে তৃতীয় পক্ষের প্রোগ্রাম ছাড়াই একই মান দেয়;
• RAM ও swap-এর জন্য টাস্ক ম্যানেজার ও রিসোর্স মনিটর দরকার — সেখানে দেখা যায় কখন সিস্টেম পেজ আনলোড শুরু করেছে।

গড় নয়, সেশনের সর্বোচ্চ দেখুন: সেটাই নির্ধারণ করে মডেলের জন্য কী থাকবে।

নিজের সেটআপ অনুযায়ী আয়তন কীভাবে বাছবেন

1. 1080p-তে যুদ্ধ মোডে গেম ও এনকোডার চালান, nvidia-smi বা Afterburner ওভারলে দিয়ে পিক মাপুন।
2. উপলব্ধ আয়তন থেকে পিক বিয়োগ করুন — পিকের জন্য মার্জিনসহ মডেলের ঊর্ধ্বসীমা পাবেন।
3. সহায়ক চালু করুন, ফ্রেম, swap ও উত্তরের সময় পর্যবেক্ষণ করুন।
4. ফ্রিজ দেখা দিলে — প্রথমে কনটেক্সট ছোট করুন, তারপর মডেলের শ্রেণি কমান বা আরও আক্রমণাত্মক কোয়ান্টাইজেশন চালু করুন, এবং ড্রপ ও swap বন্ধ না হওয়া পর্যন্ত পুনরাবৃত্তি করুন।

পদ্ধতিতে বারবার পরিমাপ দরকার: পিক গেম ও দৃশ্য অনুযায়ী বদলায়।

আসলে কী মেমরি বাঁচায়

মেমরির ঘাটতি হলে কয়েকটি লিভার আছে, এবং প্রত্যেকটির নিজস্ব মূল্য:

• ছোট কনটেক্সট ও ইতিহাস রিসেট ক্যাশের খরচ কমায়, কিন্তু আপনি সংলাপের সূত্র হারান;
• ছোট মডেল বা আরও আক্রমণাত্মক কোয়ান্টাইজেশন গিগাবাইট বাঁচায়, কিন্তু উত্তরের গুণ কমে;
• ক্লাউড সহায়ক লোকাল মেমরি সম্পূর্ণ খালি করে, তবে লেটেন্সি ও নেটওয়ার্কের উপর নির্ভরতা যোগ করে;
• 1080p-কে হার্ডওয়্যার এনকোডারে সরানো প্রসেসরের চাপ কমায় এবং প্রায়ই গিগাবাইট বাছাইয়ের চেয়ে বেশি দেয়;
• ক্লায়েন্ট সেটিংসে উত্তরের দৈর্ঘ্য ও ইতিহাসের আকার সীমিত রাখা ক্যাশের খরচ পূর্বানুমেয় রাখে।

এনকোডার ও কনটেক্সট দিয়ে শুরু করুন: গুণের দিক থেকে এগুলো সবচেয়ে সস্তা পদক্ষেপ। এই ধাপগুলো যথেষ্ট না হলে কোয়ান্টাইজেশন ও মডেল ছোট করা ধরুন।