KashmirAI NLLB-1.3B
перевод с кашмирского на английский язык
2 мин чтенияобновлено
Модель представляет собой дообученную версию facebook/nllb-200-distilled-1.3B (базовая языковая модель от Meta с дистиллированными параметрами), оптимизированную для перевода с кашмирского языка в арабо-персидской письменности на английский. Версия конвертирована в формат CTranslate2 int8 для эффективной работы на обычных процессорах без использования мощных видеокарт. Она заменяет более раннюю 600M-модель того же разработчика и используется на сайте проекта. Новинка пригодится исследователям, лингвистам и разработчикам сервисов для работы с малоресурсными языками.
Ключевые особенности
- Базируется на архитектуре NLLB-200 distilled 1.3B от Meta.
- Экспортирована в CTranslate2 int8 для быстрого запуска на CPU.
- Обучена на датасете из 128 028 тщательно отфильтрованных пар предложений.
- Показывает прирост качества перевода по сравнению с 600M-версией.
Что можно сделать
- Интегрировать модель в локальный переводчик или веб-сервис для работы с кашмирским языком.
- Запускать инференс на обычном процессоре (CPU) со скоростью около 1–2.5 секунды на предложение.
- Использовать для исследовательских задач в области обработки естественного языка (NLP) для региональных языков Индии.
Пример
import ctranslate2
from tokenizers import Tokenizer
from huggingface_hub import snapshot_download
path = snapshot_download("Faizanayub/kashmirai-nllb13b-ks-en-ct2")
tr = ctranslate2.Translator(path, device="cpu", compute_type="int8")
tok = Tokenizer.from_file(f"{path}/tokenizer.json")
src = "سُہ چھُ آز اکھ کامیاب ویب ڈزاینَر۔"
tokens = ["kas_Arab"] + tok.encode(src, add_special_tokens=False).tokens + [""]
out = tr.translate_batch([tokens], target_prefix=[["eng_Latn"]], beam_size=4)[0].hypotheses[0]
ids = [tok.token_to_id(t) for t in out if t not in ("eng_Latn", "")]
print(tok.decode(ids, skip_special_tokens=True))
Подробнее
Бенчмарки (KashEval v1): FLORES-200 devtest — 61.41 chrF++; Google SMOL — 49.36 chrF++; IN22-Gen — 61.26 chrF++.Требования к железу: оптимизирована для CPU (инференс на одном потоке занимает 1–2.5 секунды на предложение).
Детали обучения: полный файнтюн с замороженными эмбеддингами на Kaggle T4, размер батча 32, 2 эпохи.
Лицензия: CC BY-NC 4.0.










Комментарии