Lugbara Ensemble Translator

Модель от автора ckuma объединяет энкодеры XLM-R и mT5 с декодером mT5, чтобы переводить между английским и языками лугбара и луганда. Это реализация метода из магистерской работы Charity Driciru Akuma (Muni University, 2025); всего 860M параметров, из них обучено 668M.

⚙ Ключевые особенности

• 🔄 Четыре направления: EN↔Lugbara и EN↔Luganda; направление задаётся тегами <2lgg>, <2lug> и <2en>.
• 🌀 Двойной энкодер: декодер mT5 на каждом шаге смотрит на состояния обоих энкодеров, а обучаемый source-type вектор подсказывает источник.
• 🗂 Обучение на Sunbird SALT: 10 867 / 2 329 / 2 328 предложений train/validation/test, все четыре направления.
• ⌨ Вход только в нижнем регистре, как в обучении.
• ⚡ 860M параметров, обучение заняло 288,9 минуты на Kaggle T4.

💻 Пример

import sys
from huggingface_hub import snapshot_download
d = snapshot_download("ckuma/lugbara-ensemble-translator")
sys.path.insert(0, d)
import fusion_mt

tm, tx, model = fusion_mt.build(from_dir=d)
print(fusion_mt.translate(tm, tx, model, ["<2lgg> farmers should plant early when the rains begin."]))

Подробнее

BLEU на тесте: EN→Lugbara 8.14, EN→Luganda 6.72, Lugbara→EN 5.72, Luganda→EN 6.57.
860M параметров (668M обучено), обучение на Kaggle T4 — 288,9 минуты.
Ограничения: короткие предложения SALT, только lowercase, тон лугбара не записывается; оценки автоматические по одной референсной фразе, носителям стоит проверять вывод.