nllb-600M-lora
компактный LoRA-переводчик на базе NLLB-200
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая надстройка над базовой моделью) к facebook/nllb-200-distilled-600M на 600M параметров. Он переводит отдельные предложения между английским, французским, арабским и суахили: обучены направления en→fr, fr→en, en→ar, ar→en, en→sw и sw→en. На выходе — переведённое предложение; языковой токен цели нужно принудительно указывать, как в примере. Адаптер обучен на смеси opus-100, news-commentary, MAFAND-MT и нескольких en-sw наборов, до 20 тыс. пар на направление, с фильтрацией и дедупликацией. Пригодится разработчикам компактных переводческих ботов и пайплайнов для этих языковых пар, особенно с суахили.
Ключевые особенности
- Мультиязычные пары en↔fr, en↔ar и en↔sw в одном адаптере.
- LoRA r=8, alpha=64, dropout=0.05; обучение на q_proj, k_proj, v_proj, out_proj, fc1 и fc2.
- До 20 000 пар на направление; очистка включала фильтры длины, fastText language ID и дедупликацию.
- Целевой язык задаётся forced_bos_token_id; коды NLLB: eng_Latn, fra_Latn, arb_Arab, swh_Latn.
Что можно сделать
- Собрать Telegram-бота или внутренний сервис для быстрого перевода коротких сообщений en↔fr/ar/sw.
- Переводить новостные и деловые предложения с английского на французский, арабский или суахили, предварительно разбивая текст на предложения.
- Сравнить адаптер с zero-shot NLLB-200 на своих данных, когда появятся chrF++ в results/.
- Использовать как готовый LoRA-пример для дообучения NLLB под другие пары языков.
Пример
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tok = AutoTokenizer.from_pretrained('facebook/nllb-200-distilled-600M', src_lang='eng_Latn')
model = AutoModelForSeq2SeqLM.from_pretrained('facebook/nllb-200-distilled-600M')
model = PeftModel.from_pretrained(model, 'RousingSea7309/nllb-600M-lora', subfolder='best_model').merge_and_unload().eval()
inputs = tok('The government announced a new policy today.', return_tensors='pt')
out = model.generate(**inputs, forced_bos_token_id=tok.convert_tokens_to_ids('fra_Latn'), num_beams=4, max_new_tokens=256)
print(tok.batch_decode(out, skip_special_tokens=True)[0])
Подробнее
Валидационный loss — 1.2304; это прокси, а не оценка качества перевода.chrF++ по направлениям пока нет: результаты должны появиться в results/.
Модель предложенческая: сначала делите текст на предложения; при переводе на арабский выход примерно в 1.8 раза длиннее по токенам.
Лицензии обучающих данных проверены не все; MAFAND-MT — CC BY-NC 4.0 (non-commercial).










Комментарии