bangla-gpt-pro

A QLoRA fine-tune of Qwen3.5-0.8B on Bangla instruction data — and a record of why it did not work. Every number and every output below comes from the training run that produced the model.

This model does not generate reliable Bangla

It invents facts and its Bangla is frequently ungrammatical. Asked who Rabindranath Tagore was, four different decoding settings produced four different wrong death years — none of them 1941.

On the two Bangla benchmarks that ran, this model and its untouched base both score at random-chance level. This page exists so the result can be inspected rather than taken on trust.

trainable
2.12%
training examples
10,700
steps
400
peak VRAM
2.2 GB
training time
36 min

Benchmarks, against random chance

Five Bangla multiple-choice benchmarks were planned; three failed to load. Scoring is length-normalised log-likelihood. The chance column is the point of this table — rows in red sit at or below guessing for both models, so the differences carry no information.

BenchmarkRandom chanceBaseFine-tunedΔ
bangla-mmlu0.250.2830.240-0.043
piqa-bn0.500.5000.530+0.030
average—0.3920.385-0.007
Accuracy per benchmark, base against fine-tuned
Accuracy per benchmark, base against fine-tuned
Mean accuracy across the benchmarks that ran
Mean accuracy across the benchmarks that ran

Same prompt, both models

Identical prompts and decoding settings, so the difference between the two columns is the adapter and nothing else.

বাংলাদেশের মুক্তিযুদ্ধ সম্পর্কে তিনটি বাক্যে লিখুন।
base · Qwen3.5-0.8B

আমি আপনার সাহায্য করতে পারি। তবে, আপনি জানেন কি আপনি কোনো নির্দিষ্ট বিষয়টি (যেমন: বানানো, লিখা, বা অন্য কোনো বিষয়) সম্পর্কে স্পষ্টভাবে জানেন? আমি আপনার সাহায্য করতে পারি: * **বানানো ও লিখা:** সঠিক বানানো এবং সঠিক লিখণ্ডন। * **ব্যাখ্যা ও ব্যাখ্য:** ব্যাখ্যের সঠিক বানানো এবং ব্যাখ্যের সঠিক লিখণ্ডন। * **ব্যাখ্যা ও ব্যাখ্য:** ব্যাখ্যের সঠিক বানানো এবং ব্যাখ্যের সঠিক লিখণ্ডন। আমি আপনার সাহায্য করতে পার

fine-tuned · bangla-gpt-pro

বাংলাদেশের মুক্তিযুদ্ধ সম্পর্কে তিনটি বাক্যে লিখতে হলো: 1. **মুক্তিযুদ্ধের মূল বিষয়**: মুক্তিযুদ্ধ হলো বাংলাদেশের মূল সম্পর্ক, যা বাংলাদেশের জন্য বিভিন্ন প্রতিষ্ঠান এবং সম্পর্কে সম্পর্কে বিভিন্ন প্রতিষ্ঠানের মধ্যে সম্পর্কে বিভিন্ন প্রতিষ্ঠানের মধ্যে সম্পর্কে বিভিন্ন প্রতিষ্ঠানের মধ্যে সম্পর্কে বিভিন্ন প্রতিষ্

রবীন্দ্রনাথ ঠাকুর কে ছিলেন?
base · Qwen3.5-0.8B

আমি একটি সহকারী হিসেবে আপনার প্রশ্নের উত্তরটি নিচে দেওয়া হলো: **রবীন্দ্রনাম ঠাকুরের ছিলেন ছিল ১৯৯০ সালে।** এটি একটি গুরুত্বপূর্ণ ঘটনা। ১৯৯০ সালের ১৫ জুন, রবীন্দ্রনাম ঠাকুরের মৃত্যু ঘটে। তার মৃত্যের পরেই তিনি তার ছিলেনের জন্য আশ্রয় নিয়েছিলেন। এই ছিলেনের সময় তিনি নিজের মতোই ছিলেন এবং তার মতোই ছিলেন। **সম্মহা (সম্মহা-সম্মহা-সম্মহা):** * **মৃত্যু:** ১৯৯০ সালের

fine-tuned · bangla-gpt-pro

রবীন্দ্রনাথ ঠাকুরের মৃত্যু হয় ১৯৭৫ সালের ১০ মার্চে। তার মৃত্যু পরিচয়ের মধ্যে তিনি ১৯৭৫ সালের ১০ মার্চে মৃত্যু হয়। তার মৃত্যু পরিচয়ের মধ্যে তিনি ১৯৭৫ সালের ১০ মার্চে মৃত্যু হয়। তার মৃত্যু পরিচয়ের মধ্যে তিনি ১৯৭৫ সালের ১০ মার্চে মৃত্যু হয়। তার মৃত্যু পর

একটি ছোট গল্প লিখুন যেখানে একজন কৃষক বৃষ্টির জন্য অপেক্ষা করছেন।
base · Qwen3.5-0.8B

আমি আপনার জন্য একটি ছোট গল্প লিখছি। এটি একটি কৃষিকর্মী হিসেবে কাজ করছেন একজন বৃহ্টির জন্য। **গল্প: বৃহ্টির জন্যের ঘর** আমি একজন বৃহ্টির জন্য। আমার ঘরটি খুবই বড় এবং সুন্দর। ঘরটিতে সবসময়ই কৃষিকর্মী কাজ করছেন। ঘরটির পাশে একটি বড় ফুলের বালি আছে। ফুলের বালিটি খুবই বড় এবং সুন্দর। ঘরটির পাশে একটি বড় ফুলের বালি আছে। ফুলের বালিটি খুবই বড় এবং সুন্দর। ঘরটির পাশে একটি বড় ফুলের বালি আছে। ফুলের বালিটি খুবই

fine-tuned · bangla-gpt-pro

অবশ্যই! এখানে একটি ছোট গল্প লিখি যেখানে একজন কৃষক বৃষ্টির জন্য অপেক্ষা করছেন: **বৃষ্টির জন্য অপেক্ষা করা গল্প** এখন, আমরা একটি ছোট গল্প লিখতে পারি যেখানে একজন কৃষক বৃষ্টির জন্য অপেক্ষা করছেন। **বৃষ্টির জন্য অপেক্ষা করা গল্প** এখন, একটি ছোট গল্প লিখতে পারি যেখানে একজন কৃষক বৃষ্টির জন্য অপেক্ষা করছেন। এখন, আমরা একটি ছোট গল্প লিখত

পানি ফুটলে কী ঘটে, সহজ ভাষায় ব্যাখ্যা করুন।
base · Qwen3.5-0.8B

আমি আপনাকে সহজ ভাষায় ব্যাক্সি করছি। **পানি ফুটলে কী ঘটে?** পানি ফুটলে (পানি ফুটল) হলো একটি **অন্য জাতীয় জীবন**। এটি মানুষের মতোই জীবন, কিন্তু এটি মানুষের মতোই **অন্য জাতীয় জীবন**। **এটি কীভাবে মানুষের মতোই জীবন?** * **আমাদের মতোই জীবন:** মানুষের মতোই জীবন, মানুষের মতোই জীবন। * **আমাদের মতোই জীবন:** মানুষের মতোই জীবন, মানুষের মতোই জীবন। * **আমাদের মতোই জীবন:** মানুষের মতোই জীবন,

fine-tuned · bangla-gpt-pro

পানি ফুটলে কি ঘটে? এটি একটি বিভিন্ন ঘটনা, যা কোনো বিভিন্ন ঘটনার সম্পর্কে বিভিন্ন হিসেবে ব্যবহৃত হয়। এটি একটি বিভিন্ন ঘটনা, যা কোনো বিভিন্ন ঘটনায় সাধারণত ব্যবহৃত হয়। এটি একটি বিভিন্ন ঘটনা, যা কোনো বিভিন্ন ঘটনায় সাধারণত ব্যবহৃত হয়।

Training

Training loss on the assistant turn only
Training loss on the assistant turn only

Loss fell steadily to 0.952, which is the trap worth naming: the curve looked healthy while the model learned nothing usable. Loss measures next-token prediction on the training distribution, not whether the output is true or grammatical.

What went wrong

The base model's Bangla is weak. The dominant cause. Qwen3.5 advertises 201 languages, but coverage at 0.8B is thin — the base outputs above are themselves garbled. Fine-tuning adapts what a model already has; it cannot install a language.

The chat template injected empty thinking blocks. Qwen3.5 renders an empty <think></think> pair into every assistant turn, and enable_thinking=False is ignored by this template. All 10,700 training examples taught the model to emit it.

97% of the data was discarded. Bangla-Instruct holds 342,391 pairs with a median length of 729 tokens; a 512-token window left 10,700. Bangla costs more tokens per word than English, so an English-sized window truncates it aggressively.

Training ran in fp32. fp16 is unsupported for this architecture, so the 4-bit base bought less than intended.

Files