zenz-v3.1-small-romaji
ромадзи сразу в японский текст
1 min readupdated
Экспериментальный файнтюн модели Miwa-Keita/zenz-v3.1-small от автора takumiecd. Все 90 450 432 параметра дообучены для прямого преобразования ромадзи в японский текст. Это не официальный релиз original zenz, а производная экспериментальная модель.
Ключевые особенности
- Полный файнтюн всех весов базовой модели на 90,45 млн параметров.
- Принимает Hepburn, Kunrei и смешанную ромадзи, а также катакану; катакана в обучении была, но её качество просело относительно базы.
- Вход подаётся не как чат-промпт, а через специальные разделительные токены zenz.
- Веса в FP32 safetensors; пример из карточки работает на CPU,
trust_remote_codeне нужен. - Экспериментальная модель: автор не гарантирует качество для реального IME, имён собственных и незнакомых доменов.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = 'takumiecd/zenz-v3.1-small-romaji'
tok = AutoTokenizer.from_pretrained(repo, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.float32).eval()
ids = tok.encode('\\uee00', add_special_tokens=False) + tok.encode('kyouhaiitenkidesu', add_special_tokens=False) + tok.encode('\\uee01', add_special_tokens=False)
out = model.generate(torch.tensor([ids]), max_new_tokens=128, do_sample=False)
print(tok.decode(out[0, len(ids):], skip_special_tokens=True)) # 今日はいい天気です
Подробнее
Test CER: 8,14% в среднем для трёх вариантов ромадзи; для катаканы — 3,89%.Точное совпадение предложений: 56,51–57,21% для ромадзи и 71,63% для катаканы.
Обучение: 2 эпохи, 14 536 шагов, A100 80GB MIG; инференс возможен на CPU в FP32.
Ограничения: качество на катакане ниже базовой модели; гарантий для реального IME нет. Лицензия — CC BY-SA 4.0.








Comments