Amrouche-2-1.3B
двунаправленный перевод для кабильского
1 мин чтенияобновлено
Amrouche-2-1.3B — модель машинного перевода на 1,37 млрд параметров, дообученная от facebook/nllb-200-distilled-1.3B на 544 965 проверенных параллельных парах корпуса AƔBALU. Поддерживает кабильский (kab_Latn), английский, французский и современный стандартный арабский в обе стороны.
Ключевые особенности
- Полный файнтюн NLLB-1.3B: 24 слоя энкодера и декодера, 1 024 скрытых размера, 16 голов внимания.
- Сохранён полный словарь на 256 206 токенов — меньше замен
<unk>на именах и заимствованиях. - На FLORES+ devtest средний результат 38,22 macro chrF++ (+2,92 к базе) и 13,80 macro BLEU (+14,2% относительно).
- Двунаправленный арабский: +3,44 chrF++ на
arb → kabи +1,20 наkab → arb. - Совместима с
M2M100ForConditionalGeneration, CTranslate2 и ONNX; есть int8-версия на 1,38 ГБ.
Пример
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model_id = "agbalu/Amrouche-2-1.3B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).eval()
print(model.translate(["Water is life."], src_lang="en", tgt_lang="kab", tokenizer=tok))
# ['Aman d tudert.']
Подробнее
BF16-вес модели — 2,74 ГБ; CTranslate2 int8 — 1,38 ГБ и 205,6 мс на предложение на CPU (7,1× быстрее PyTorch).Обучение: двухэтапный curriculum, 1 560 шагов; неверифицированный веб-майнинг исключён, второй этап — только золотые человеческие пары.
Ограничения: стандартная кабильская латиница; Arabizi и Neo-Tifinagh требуют нормализации. Для братских берберских языков не предназначена.










Комментарии