Marathi → Hindi Sarvam-Translate
LoRA-файнтюн для перевода
1 min read
Это LoRA-файнтюн модели sarvamai/sarvam-translate, слитый в отдельный чекпоинт. Переводит только с маратхи на хинди; размер — 4,3 млрд параметров.
Ключевые особенности
- LoRA r=64, alpha=128 на attention и MLP projections language tower, затем merged.
- Обучение на 407 088 парах хинди–маратхи с LaBSE ≥ 0.90.
- Только направление mr → hi; другие направления не оценивались.
- На in-house наборе около 46% ответов содержат пробел перед пунктуацией — нужна постобработка.
- Лицензия GPL-3.0, унаследована от базовой модели.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
name = 'indraneelghosh740/marathi-hindi-sarvam'
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForImageTextToText.from_pretrained(name, dtype=torch.bfloat16, device_map='auto')
messages = [{'role': 'system', 'content': 'Translate the text below to Hindi.'}, {'role': 'user', 'content': 'तुमचे नाव काय आहे?'}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors='pt', add_special_tokens=False).to(model.device)
Подробнее
BLEU-13a / chrF++: in-house MrHi_544 — 53,17 / 65,64; FLORES devtest — 22,53 / 46,75; IN22-Gen — 22,00 / 47,16; IN22-Conv — 23,41 / 45,23.Обучение: lr 1e-4, effective batch size 64, 1 эпоха, max length 256; greedy decoding.
Только Marathi → Hindi; на других направлениях не оценивалась.
Лицензия GPL-3.0.










Comments