bash98/nllb-english-pidgin-nllb-1-3b
перевод с английского на нигерийский пиджин
1 мин чтенияобновлено
Эта модель представляет собой специализированный вариант архитектуры facebook/nllb-200-1.3B (крупная языковая модель для перевода), дообученный для перевода коротких текстов с английского языка на нигерийский пиджин (pcm). В процессе полного файнтюна (дообучения) модель освоила специальный маркер pcm_Latn. Она ориентирована на разработчиков и исследователей, работающих с африканскими языковыми парами и локализацией контента.
Ключевые особенности
- Базовая модель: Доработанная версия facebook/nllb-200-1.3B размером 1.37 млрд параметров.
- Обучение: Использован сбалансированный набор данных из корпусов Naija-NSC и Okwu.
- Оптимизация: Применена комбинация оптимизатора Adafactor со смешанной точностью BF16.
Что можно сделать
- Интеграция в пайплайны: Добавить модель в скрипты перевода для обработки текстов на нигерийском пиджине.
- Лингвистические исследования: Использовать для анализа и перевода африканских языковых диалектов.
Пример
MODEL_ID = 'bash98/nllb-english-pidgin-nllb-1-3b-20261118-123027'
import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, src_lang="eng_Latn", tgt_lang="pcm_Latn", token=False)
model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_ID, torch_dtype=torch.float32, token=False).to(device)
model.eval()
inputs = tokenizer("Where is the nearest bus stop?", return_tensors="pt", truncation=False).to(device)
output = model.generate(**inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("pcm_Latn"), max_new_tokens=192)
print(tokenizer.decode(output[0], skip_special_tokens=True))
Подробнее
• Бенчмарки: BLEU: 40.081, chrF: 58.48 (на валидационном наборе).• Железо: Требуется достаточный объем RAM/VRAM для работы с FP32-весами модели на 1.37B параметров.
• Ограничения: Модель не предназначена для медицинского или юридического перевода, требуется дополнительная проверка человеком.










Комментарии