Vemana-Base

Vemana-Base от Udgam Labs — базовая языковая модель для телугу на 278M параметров. Обучена с нуля на 5,1 млрд уникальных токенов публичного веб-текста на телугу (12 млрд токен-позиций), использует собственный токенизатор на 32 000 токенов. Это не instruct-модель: она продолжает текст и работает на CPU ноутбука.

🔍 Ключевые особенности

• ⚡ Обучена с нуля, а не файнтюн: 5,1 млрд уникальных токенов из Sangraha, FineWeb-2 и HPLT 3.0.
• 🔍 Собственный телугу-токенизатор на 32 000 токенов с byte fallback.
• 📊 На свежих страницах телугу-Википедии (сен-окт 2026) лучше всех протестированных открытых base-моделей до 1 млрд параметров: 0,361 против 0,383 bits per byte у nanochat-telugu-560M.
• 💻 Запускается на CPU класса ноутбука; на CPU Mac mini выдаёт около 65 токенов/с.
• 📌 Контекст 1 024 токена — примерно 570 слов на телугу.
• 🛡 Лицензия Apache-2.0; есть GGUF для llama.cpp и все чекпоинты.

💻 Пример

from transformers import AutoTokenizer, AutoModelForCausalLM

tok = AutoTokenizer.from_pretrained("udgamlabs/Vemana-Base")
model = AutoModelForCausalLM.from_pretrained("udgamlabs/Vemana-Base")
inputs = tok("తెలుగు భాష", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=80, do_sample=True, temperature=0.8, top_p=0.95)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Бенчмарки: 0,361 bits per byte на свежих страницах телугу-Википедии (Sep–Oct 2026) против 0,383 у nanochat-telugu-560M; multiple-choice — Belebele-te 25,1%, MILU-te 25,3%.
Железо: обучалась на одной H100 около 16 часов (~$69 GPU-времени), инференс возможен на CPU ноутбука; нужен transformers 5.19 или новее.
Ограничения: base-модель без instruction tuning и safety tuning, контекст 1 024 токена, возможны выдумки и повторы; для знаний и рассуждений нужна модель крупнее.