Dhīr 2B

Dhīr 2B — компактная foundation-модель от ZenteiQ (Бангалор, Индия), созданная при поддержке IndiaAI Mission. Это dense decoder-only Transformer на 2,03 млрд параметров, обученный с нуля и дообученный через SFT и GRPO; лицензия Apache 2.0. Понимает English и 10 индийских языков, контекст — 16 384 токена.

👀 Ключевые особенности

• 💪 Создана с нуля: дизайн, токенизатор, данные и претрейн выполнены командой ZenteiQ, без адаптации готовой модели.
• 👀 Понимает English и 10 индийских языков: Hindi, Gujarati, Tamil, Bengali, Kannada, Malayalam, Marathi, Odia, Punjabi, Telugu.
• 💳 Нативный tool/function calling: BFCL v3 accuracy 73,4.
• 💰 Компактная для локального запуска: 3,78 GB в BF16 и 1,13 GB в 4-bit.
• 🤫 Собственный токенизатор на 131 072 токена, контекст 16 384 токена.

💪 Пример

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "adityabhushannagar/Dhir-2B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
msgs = [{"role": "user", "content": "भारत की राजधानी के बारे में दो वाक्य लिखिए।"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=256, do_sample=False); print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))

Подробнее

Бенчмарки из внутреннего набора ZenteiQ: IndicGenBench FLORES chrF 51,4 (#1 из 17), XQuAD-IN token F1 63,5 (#1 из 17), BFCL v3 accuracy 73,4.
Веса: 3,78 GB BF16, 2,01 GB 8-bit, 1,13 GB 4-bit; проверено на NVIDIA L4, RTX Pro 6000 и CPU.
Ограничения: thinking mode не поддерживается, а бенчмарки пока внутренние — независимое воспроизведение обещано в техническом отчёте.
Обучение: с нуля на Google TPU v6e через MaxText (JAX), затем SFT и GRPO.