NLLB-200-Gorontalo-BI-600M
переводчик для языка горонтало
1 мин чтенияобновлено
NLLB-200-Gorontalo-BI-600M — двуязычная модель машинного перевода между индонезийским (ind_Latn) и горонтало (gor_Latn), созданная Panita Research Gorontalo. Это полный файнтюн facebook/nllb-200-distilled-600M на 615 млн параметров; обучение шло на 96 004 Seq2Seq-примерах, собранных из словарей Мансура Патеды. Проект нацелен на цифровое сохранение языка горонтало.
Ключевые особенности
- Новый токен
gor_Latn(ID 256204) инициализирован средним эмбеддингом родственных языков: индонезийского, бугийского, тагальского и себуано. - Полный файнтюн
facebook/nllb-200-distilled-600Mна 96 004 двуязычных Seq2Seq-примерах. - Понимает горонтало в орфографии 1987 и 2001 годов, а генерирует в стандарте 2001 года.
- Учитывает морфологию, пять времён, регистры вежливости и фонологизацию заимствований.
- Вес модели около 2,4 ГБ — запускается на CPU с RAM от 4 ГБ.
Пример
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
mid = 'panitagorontalo/nllb-200-gorontalo-bi-600M'
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForSeq2SeqLM.from_pretrained(mid)
src, tgt = tok.convert_tokens_to_ids(['ind_Latn', 'gor_Latn'])
ids = [src] + tok('Saya pergi ke pasar kemarin.')['input_ids'] + [tok.eos_token_id]
out = model.generate(input_ids=[ids], forced_bos_token_id=tgt)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
На чистом тесте ID→GOR — 23,42 SacreBLEU и 39,26 chrF++ против 0,13/9,40 у zero-shot; GOR→ID (2001) — 16,20/40,72, для орфографии 1987 — 21,53/47,36.Обучение: 1×A100 40GB, bfloat16, максимальная длина 128 токенов.
Ограничение: модель двуязычная и не заменяет универсальный переводчик.










Комментарии