NLLB-200 600M идо ↔ эсперанто
переводчик для редкой пары языков
1 мин чтенияобновлено
Это двунаправленная модель перевода между идо и эсперанто от komapc. За основу взята facebook/nllb-200-distilled-600M на 0,62 млрд параметров; для идо добавлен новый языковой токен ido_Latn.
Ключевые особенности
- Перевод в обе стороны: идо → эсперанто и эсперанто → идо.
- Полный файнтюн NLLB-200 с новым токеном
ido_Latn; эсперанто используетepo_Latn. - По chrF и BLEU обходит rule-based Apertium ido-epo и Llama-3.2-3B QLoRA на тех же данных.
- Обучение на реальных парах Tatoeba с весом ×3 и синтетике Apertium без unknown/failure-маркеров.
- Веса под CC-BY-NC 4.0 — только некоммерческое использование.
Пример
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
repo = 'komapc/nllb-ido-epo-600m'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSeq2SeqLM.from_pretrained(repo).eval()
ido = tok.convert_tokens_to_ids('ido_Latn')
epo = tok.convert_tokens_to_ids('epo_Latn')
# ids = [ido] + tok(text, add_special_tokens=False)['input_ids'] + [tok.eos_token_id]
# generate(..., forced_bos_token_id=epo, num_beams=4, max_new_tokens=128)
Подробнее
chrF 73.4 / BLEU 53.9 на held-out Tatoeba; у Apertium — 65.2 / 45.4, у Llama-3.2-3B QLoRA — 60.9 / 38.7.Обучение: 34 813 пар, full fine-tune, Kaggle T4 около 65 минут.
Ограничения: короткие разговорные фразы; на длинном техническом тексте слабее, возможны галлюцинации.
Лицензия весов — CC-BY-NC 4.0, только некоммерческое использование.










Комментарии