multilingual_nllb_kln_kik
переводчик для 4 языков Восточной Африки
2 min readupdated
Компактная модель машинного перевода на 620M параметров, дообученная автором Biatus на базе facebook/nllb-200-distilled-600M. Она переводит во всех 12 направлениях между английским, суахили, кикуйю и календжин с акцентом на сельскохозяйственные рекомендации (растениеводство, животноводство, управление фермой). Главное отличие от базовой NLLB — добавление нового языкового токена kln_Latn для языка календжин, которого изначально не было в NLLB-200, а также заметный прирост качества в паре английский — суахили. Пригодится разработчикам локальных сервисов для фермеров и исследователям малоресурсных языков.
Ключевые особенности
- 12 направлений перевода: работает во все стороны между
eng_Latn,swh_Latn,kik_Latnиkln_Latn. - Поддержка нового языка: в словарь добавлен токен
kln_Latn(id 256204) для календжин, инициализированный от языка долуо (luo_Latn) и дообученный на смеси диалектов нанди и кипсигис. - Улучшение на суахили: в паре английский ↔ суахили модель набирает 70.94 и 71.03 chrF++ против 55.4 и 53.2 у базовой NLLB-200-distilled-600M.
- Двухэтапное обучение: полный файнтюн (full fine-tune) в bf16 с повтором данных первого этапа, чтобы модель не забывала ранее изученные направления.
Что можно сделать
- Встроить модель в чат-бот или справочный сервис для консультации фермеров на суахили, кикуйю и календжин через библиотеку
transformers. - Переводить агрономические памятки, советы по борьбе с вредителями и уходу за скотом с английского на местные языки и обратно.
- Использовать как базовый чекпоинт для дальнейших экспериментов с малоресурсными языками Восточной Африки (с учётом некоммерческой лицензии).
Пример
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
repo = "Biatus/multilingual_nllb_kln_kik"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSeq2SeqLM.from_pretrained(repo)
tokenizer.src_lang = "eng_Latn"
inputs = tokenizer("How can I control fall armyworm in my maize farm?", return_tensors="pt")
out = model.generate(**inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("swh_Latn"), num_beams=4)Подробнее
Средний результат по всем 12 направлениям на тестовом наборе: 52.41 chrF++ и 27.48 BLEU (лучше всего — swh → eng: 71.03 chrF++, слабее всего — swh → kln: 35.95 chrF++).Ограничения: для кикуйю и календжин вывод может быть в нижнем регистре, без пунктуации и с числами прописью; критически важные советы (дозировки пестицидов или ветпрепаратов) требуют проверки носителем языка.
Лицензия: CC-BY-NC-4.0 (только для некоммерческого использования).










Comments