KEN’S CAT LOG
▣

20 ভাষার RAG-এর জন্য 0.8B LLM ফাইন-টিউন করলাম: নির্ভুলতা 74% থেকে 94%, CPU-তে প্রতি প্রশ্ন 7 সেকেন্ড

CPU-তে চলবে এমন বহুভাষী RAG মডেল চাই। একটি লেখা দিয়ে প্রশ্ন করলে, লেখাটির ভেতর থেকে উত্তর দেবে। লেখায় উত্তর না থাকলে বানিয়ে না বলে, «উত্তর নেই» বলে জানাবে। এমন একটি মডেল Qwen3.5-এর 0.8B (80 কোটি প্যারামিটার) ফাইন-টিউন করে বানালাম। লক্ষ্য 20টি ভাষা।

আগে উপসংহার।

  • নির্ভুলতা 73.8% → 93.8%। ফাইন-টিউন না করা Qwen3-4B (94.7%)-এর থেকে, আকারে পাঁচ ভাগের এক ভাগ হয়েও মাত্র 1 পয়েন্ট পিছিয়ে
  • সবচেয়ে বড় উন্নতি হলো «বানিয়ে বলা» ঠিক হওয়া। মূল 0.8B-তে উত্তরহীন দীর্ঘ লেখা দিলে প্রায় 40% ক্ষেত্রে কিছু না কিছু উত্তর দিয়ে ফেলত
  • CPU-তে প্রতি প্রশ্ন 7 সেকেন্ড। প্রায় 2,500 টোকেনের লেখা পড়ে উত্তর দিতে এত সময় লাগে। 4B-তে লাগে 60 সেকেন্ড
  • 95% ছাড়ানো যায়নি। শেখার হার, epoch এবং ডেটার পরিমাণ বদলালেও 94%-এর ঘরেই থেমেছে। সম্ভবত 0.8B আকারের সীমা

কী দিয়ে মাপা হয়েছে

20টি ভাষার (জাপানি, ইংরেজি, চীনা, ক্রোয়েশীয়, হিন্দি ইত্যাদি) Wikipedia থেকে প্রশ্ন তৈরি করেছি। প্রতি প্রশ্নে 4 ধরনের লেখা দিয়ে উত্তর দিতে বলা হয়েছে।

  • অনুচ্ছেদ: উত্তর থাকা ছোট অনুচ্ছেদ
  • দীর্ঘ প্রসঙ্গ: উত্তর থাকা অনুচ্ছেদকে সম্পর্কহীন নিবন্ধের সঙ্গে মিশিয়ে তৈরি কয়েক হাজার টোকেনের লেখা
  • উত্তর নেই (ছোট/দীর্ঘ): উত্তরহীন লেখা। «উত্তর নেই» বলতে পারলে সঠিক

এই 4টির গড়কে «নির্ভুলতা» বলা হয়েছে। প্রশ্ন তৈরি ও মূল্যায়নে Qwen3-32B ব্যবহার করা হয়েছে। মূল্যায়ন Qwen-পক্ষপাতী কি না দেখতে, ভিন্ন ধারার gpt-oss-120b দিয়েও আবার মূল্যায়ন করা হলে পার্থক্য 0.5 পয়েন্টের মধ্যে ছিল।

এ ছাড়া ভিন্ন ধরনের প্রশ্ন দিয়েও পরীক্ষা করেছি।

  • XQuAD: মানুষের লেখা প্রশ্নের 8-ভাষার সংস্করণ
  • hr0: আগে অন্য মডেল দিয়ে তৈরি ক্রোয়েশীয় পরীক্ষাসেট

কারণ, শুধু প্রশিক্ষণ ডেটার মতো করে তৈরি প্রশ্ন থাকলে বোঝা যায় না মডেলটি আসলে ভালো হয়েছে নাকি শুধু ওই বিন্যাসে অভ্যস্ত হয়েছে।

মূল 0.8B-তে উত্তর না থাকলে গল্প বানায়

ফাইন-টিউনিংয়ের আগে Qwen3.5-0.8B দিয়ে মাপলে এমন পাওয়া যায় (20 ভাষার গড়)।

অনুচ্ছেদ দীর্ঘ প্রসঙ্গ উত্তর নেই, ছোট উত্তর নেই, দীর্ঘ
68.9 71.0 87.9 63.2

উত্তরহীন দীর্ঘ লেখা দিলে প্রায় 40% ক্ষেত্রে কিছু না কিছু উত্তর দিয়ে ফেলে। হিন্দিতে স্কোর ছিল মাত্র 15 পয়েন্ট। RAG-এর জন্য এটি সমস্যা।

যা যা চেষ্টা করেছি

প্রশিক্ষণ হয়েছে vast.ai থেকে ভাড়া নেওয়া RTX PRO 6000 (96GB)-এ।

1. 20 ভাষার RAG ডেটায় LoRA

প্রশিক্ষণ ডেটা ছিল 20 ভাষা × 500 প্রশ্ন। সেগুলো থেকে 4 ধরনের লেখা-যুক্ত উদাহরণ বানিয়ে মোট 18,025টি উদাহরণ করা হয়েছে। সঠিক উত্তর এক বাক্যের ছিল, আর উত্তর না থাকলে সেই ভাষার «উত্তর নেই»-এর নির্দিষ্ট বাক্য ব্যবহার করা হয়েছে।

LoRA (rank 64) দিয়ে 1 epoch, 1.7 ঘণ্টা।

অনুচ্ছেদ দীর্ঘ প্রসঙ্গ উত্তর নেই, ছোট উত্তর নেই, দীর্ঘ
মূল 0.8B 68.9 71.0 87.9 63.2
LoRA-এর পরে 91.7 89.0 98.4 93.4

এতেই এক লাফে উন্নতি হয়েছে। উত্তর নেই, দীর্ঘ ক্ষেত্রে 63 → 93; বানানো উত্তর প্রায় ঠিক হয়ে গেছে।

উল্লেখ্য, আগে 2B দিয়ে পরীক্ষা করার সময় দেখা গিয়েছিল, মাত্র 3 ভাষায় (ক্রোয়েশীয়, জার্মান ও তুর্কি) প্রশিক্ষণ দিলেও 20টি ভাষাতেই উন্নতি হয়। মূল মডেলের দুর্বলতা সম্ভবত জ্ঞান বা অনুধাবনশক্তি নয়, বরং নির্দেশনা অনুযায়ী উত্তর দেওয়া বা না বলার অভ্যাসের সমস্যা ছিল।

2. মানুষের লেখা প্রশ্নে দ্রুত «না» বলে দেয়

মানুষের লেখা প্রশ্নের XQuAD-এ পরীক্ষা করলে, উত্তর থাকা সত্ত্বেও «উত্তর নেই» বলে দেওয়ার উদাহরণ অনেক ছিল।

যেমন, «rotor-এর অন্য নাম কী?» জিজ্ঞেস করলেও অনুচ্ছেদে শুধু «ঘূর্ণায়মান ডিস্ক» লেখা থাকে। প্রশ্ন ও অনুচ্ছেদের ভাষা ভিন্ন হলে এ ধরনের প্রশ্নে মডেল উত্তর দিতে অস্বীকার করে।

কারণটি ছিল প্রশিক্ষণ ডেটায়। প্রশ্ন তৈরি করা Qwen3-32B অনুচ্ছেদের ভাষা হুবহু প্রশ্নে ব্যবহার করতে প্রবণ। ফলে মডেলটি সম্ভবত শিখেছিল, «একই শব্দ না পেলে উত্তর দেবে না»।

তাই gpt-oss-120b দিয়ে প্রতি ভাষায় 400টি করে ভিন্ন ধরনের ডেটা বানিয়ে যোগ করা হয়েছে।

  • অনুচ্ছেদের ভাষা থেকে ভিন্ন ভাষায় করা প্রশ্ন
  • সার্চ ফলাফলের মতো খণ্ডিত অংশ
  • সম্পর্কিত, কিন্তু উত্তর নেই—এমন বিভ্রান্তিকর নিবন্ধ
  • 1K–8K টোকেনের দীর্ঘ প্রসঙ্গ

এতে XQuAD-এর অনুচ্ছেদ স্কোর 79.6 → 83.6 এবং দীর্ঘ প্রসঙ্গ 75.5 → 79.2 হয়েছে। এবার কার্যকর উন্নতি মূলত এটিই দিয়েছে।

উল্লেখ্য, এখান থেকে LoRA নয়, সব প্যারামিটার প্রশিক্ষণ দেওয়া হয়েছে। একই ডেটায় দুটির ফল প্রায় একই ছিল।

3. যা কাজ করেনি

যা চেষ্টা করা হয়েছে ফলাফল
শেখার হার 3 গুণ (1e-5 → 3e-5) যাচাইকরণ loss স্পষ্টভাবে খারাপ হওয়ায় বন্ধ করা হয়েছে
2 epoch প্রশিক্ষণ যাচাইকরণ loss কমলেও নির্ভুলতা একই ছিল। XQuAD সামান্য কমেছে
ভিন্ন ধরনের ডেটা দ্বিগুণ নিজস্ব প্রশ্নে +0.1। XQuAD ও hr0 কমেছে
মানুষের লেখা প্রশ্ন (SQuAD, TyDi QA) যোগ উল্টো ফল। XQuAD-এর উত্তর নেই, দীর্ঘ স্কোর 99.8 → 91.2

মানুষের লেখা প্রশ্ন কাজ করবে ভেবেছিলাম, কিন্তু উল্টো হয়েছে। XQuAD, SQuAD-এর অনুচ্ছেদ থেকে তৈরি। তাই SQuAD-এ প্রশিক্ষণ দিলে মডেলটি সম্ভবত শিখেছে, «SQuAD-ধাঁচের অনুচ্ছেদ হলে উত্তর থাকবেই»। মূল্যায়নের খুব কাছাকাছি ডেটা ঝুঁকিপূর্ণ।

4. Q4 কোয়ান্টাইজেশনে 1 পয়েন্ট কমে

CPU-তে চালানোর জন্য llama.cpp-এর GGUF-এ রূপান্তর করে কোয়ান্টাইজ করা হয়েছে।

2B-তে Q4_K_M-এও প্রায় কমেনি। কিন্তু 0.8B প্রায় 1 পয়েন্ট কমেছে। ছোট মডেল কোয়ান্টাইজেশনে বেশি দুর্বল। Q6_K বা Q8_0 করলে তা ফিরে আসে, এবং ক্রোয়েশীয় প্রশ্নে 95.4 পর্যন্ত পৌঁছায়।

ফলাফল

চূড়ান্ত 0.8B-কে মূল মডেল ও বড় মডেলগুলোর সঙ্গে তুলনা করা হয়েছে। সবগুলোই 4 ধরনের গড়; 0.8B ও 2B CPU-তে ব্যবহারের রূপে (Q4_K_M)।

মডেল আকার 20 ভাষার প্রশ্ন XQuAD (মানুষের লেখা প্রশ্ন) hr0
Qwen3.5-0.8B (মূল) — 73.8 74.8 72.7
0.8B (ফাইন-টিউনড) 0.67GB 93.8 89.9 90.0
2B (একই পদ্ধতিতে ফাইন-টিউনড) 1.56GB 96.4 92.4 93.5
Qwen3-4B-Instruct-2507 (ফাইন-টিউন করা হয়নি) 2.3GB 94.7 94.0 91.2
  • 0.8B 20 পয়েন্ট বেড়েছে, 4B-এর থেকে মাত্র 1 পয়েন্ট পিছিয়ে। 2B হলে 4B-কে ছাড়িয়ে যায়
  • মানুষের লেখা প্রশ্নে (XQuAD) এখনও 4B-এর থেকে 4 পয়েন্ট পিছিয়ে। ভিন্ন ভাষার প্রশ্ন বোঝার দুর্বলতা পুরোপুরি যায়নি
  • 0.8B যে প্রশ্নগুলো ভুল করেছে, তার 64%-এর উত্তর 2B সঠিক দিয়েছে। বাকিটা সম্ভবত মডেলের আকারজনিত সীমাবদ্ধতা। নির্ভুলতাকে অগ্রাধিকার দিলে 2B

গতি (ল্যাপটপ CPU)

i7-11800H-এর 8টি থ্রেডে মাপা হয়েছে। এটি এমন ল্যাপটপ CPU, যা দীর্ঘক্ষণ চালালে ক্লক প্রায় অর্ধেকে নেমে যায়; তাই সংখ্যাগুলো তুলনামূলক ধীর।

লেখা পড়া (4K টোকেন) জেনারেশন দীর্ঘ প্রসঙ্গ, 1 প্রশ্ন
0.8B 314 tok/s 53 tok/s প্রায় 7 সেকেন্ড
2B 97 tok/s 21 tok/s প্রায় 25 সেকেন্ড
4B 42 tok/s 11 tok/s প্রায় 60 সেকেন্ড

শুধু অনুচ্ছেদ হলে 1 সেকেন্ডও লাগে না।

খরচ

vast.ai-তে সব মিলিয়ে প্রায় 75 ডলার। এর মধ্যে 2B-এর প্রশিক্ষণ এবং মূল্যায়নের ডেটা তৈরির খরচও রয়েছে।

সারসংক্ষেপ

  • 0.8B হলেও RAG-এর জন্য ফাইন-টিউন করলে নির্ভুলতা প্রায় 94% পর্যন্ত যায়। বিশেষত, উত্তর না থাকলে গল্প বানানোর প্রবণতা প্রায় ঠিক হয়ে যায়
  • কার্যকর ছিল প্রশিক্ষণ ডেটার «ধরন» বাড়ানো। পরিমাণ, epoch ও শেখার হার কার্যকর হয়নি
  • নির্ভুলতার জন্য 2B, গতির জন্য 0.8B। দুটিই ফাইন-টিউন না করা 4B-এর চেয়ে বেশি ব্যবহারযোগ্য বলে মনে হয়