NLLB-200 600M
испанский ↔ кечуа в одном файнтюне
2 min readupdated
Это файнтюн facebook/nllb-200-distilled-600M (0,62 млрд параметров) для перевода испанский → кечуа и кечуа → испанский с языковым тегом quy_Latn. Финальная модель учебного проекта MIA-203 в UNI FIIS; карточка приводит код запуска, метрики и ограничения.
Ключевые особенности
- Одна модель для обоих направлений: es→qu и qu→es.
- Полный файнтюн всех параметров: 3 эпохи, батч 32, lr 3·10⁻⁵, AdamW, bf16.
- Данные: 49 414 пар из spanish-to-quechua (аякучанский кечуа) плюс 15 373 пары нормализованных слов и глаголов, сгенерированных по правилам.
- chrF++ на тесте 2 662 пар: 38,6 ± 0,1 для es→qu и 33,6 ± 0,1 для qu→es против 26,4 и 27,6 у базовой NLLB.
- Рекомендуется no_repeat_ngram_size=3: без него модель повторяет слова в 5% переводов es→qu на FLORES.
- Обучена на аякучанском кечуа; носители не оценивали, тест из того же источника — цифры могут быть оптимистичны.
Пример
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
REPO = "sergiomc12/nllb600m-es-quy"
tok = AutoTokenizer.from_pretrained(REPO)
modelo = AutoModelForSeq2SeqLM.from_pretrained(REPO).eval()
tok.src_lang = "spa_Latn"
enc = tok("Buenos días", return_tensors="pt", truncation=True)
gen = modelo.generate(**enc, forced_bos_token_id=tok.convert_tokens_to_ids("quy_Latn"), num_beams=4, max_new_tokens=128, no_repeat_ngram_size=3)
print(tok.batch_decode(gen, skip_special_tokens=True)[0])
Подробнее
chrF++: 38,6 ± 0,1 (es→qu) и 33,6 ± 0,1 (qu→es) на тесте 2 662 пар; у NLLB без файнтюна — 26,4 и 27,6.Обучение: около 0,5 ч на NVIDIA RTX PRO 5000 Blackwell 48 ГБ; полный файнтюн, 3 эпохи.
Ограничения: аякучанский вариант; тест из того же источника; возможны повторы и выдуманный текст; чувствительна к апострофам; не для медицинских/юридических текстов без проверки.
Лицензия: только некоммерческое использование (CC-BY-NC 4.0); у части обучающих данных лицензия не указана.










Comments