Nepali Romanized to Devanagari Translator
крошечный офлайн-переводчик
1 min readupdated
Модель от rabindra-dahal переводит записанный латиницей непальский в письменность деванагари. Это 2-слойный encoder-decoder Transformer, написанный с нуля на PyTorch: около 760 тыс. обучаемых параметров и общий SentencePiece Unigram-словарь на 256 токенов. Подходит для коротких фраз и чат-сленга, работает офлайн.
Ключевые особенности
- Всего ~760 576 параметров — очень лёгкая модель.
- SentencePiece Unigram, vocab_size=256.
- Перевод офлайн, без внешних API.
- 2 слоя энкодера и 2 слоя декодера, D_MODEL=128, 4 головы внимания.
- Обучена на kid-learning датасете с заменами существительных и фрагментами из 1–2 слов.
Пример
import torch
from config import Config
from vocabulary import SentencePieceVocabulary
from model import NepaliTransformer
from pipeline import evaluate_translation
vocab = SentencePieceVocabulary(corpus=None, vocab_size=256)
model = NepaliTransformer(len(vocab), len(vocab)).to(Config.DEVICE)
model.load_state_dict(torch.load("model.pt", map_location=Config.DEVICE)["model_state_dict"]); print(evaluate_translation(model, "Meri aama.", vocab, vocab))
Результат: मेरी आमा।
Подробнее
ПодробнееПараметров ~760 576; 2 слоя энкодера/декодера, D_MODEL=128, 4 головы внимания.
Обучение: компактный словарь на 256 токенов и kid-learning датасет с аугментацией.
Ограничения: редкие имена и сложные предложения, greedy decoding.
Улучшения: увеличить vocab до 1–2 тыс. и перейти на Beam Search.










Comments