jasmine-yomi-2b
точный японский G2P-конвертер
2 мин чтенияобновлено
Модель jasmine-yomi-2b от разработчика pakutoma решает задачу G2P (grapheme-to-phoneme, перевод текста с кандзи и кана в чтения хираганой с учетом контекста). Она основана на базе Qwen/Qwen3.5-2B (архитектура Qwen3_5ForCausalLM с размером 1.88B параметров) и прошла полный файнтюн (Full SFT) на корпусах ReazonSpeech v2 и CC-100. Модель отличается от базовой узкой специализацией на правильном определении чтения иероглифов в японских предложениях. Она пригодится разработчикам голосовых ассистентов, систем синтеза речи (TTS) и инструментов обработки японского текста.
Ключевые особенности
- Высокая точность 99.05% по строгому бенчмарку JKYB-Parakeet.
- Построена на базе компактной LLM Qwen/Qwen3.5-2B.
- Особая обработка грамматики: сохраняет частицы «は» и «へ» в исходном виде, а не в звуковом.
- Доступны готовые GGUF-версии для запуска через llama.cpp.
Что можно сделать
- Интегрировать модель в конвейер синтеза речи (TTS) для точного озвучивания кандзи.
- Обрабатывать и нормализовать японские тексты перед лингвистическим анализом.
- Запустить инференс локально с помощью библиотек transformers или vLLM.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "pakutoma/jasmine-yomi-2b"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
model.eval()
text = "今日は良い天気ですね。"
inputs = tok(text + "", return_tensors="pt", add_special_tokens=False).to(model.device)
with torch.inference_mode():
out = model.generate(**inputs, max_new_tokens=384, do_sample=False)
yomi = tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(yomi) # きょうはよいてんきですね。
Подробнее
• Точность Accuracy: 99.05% (13,407 из 13,536 предложений)• Relaxed Accuracy: 99.10%
• Target Kana-CER (raw / @1): 0.89% / 0.80%
• Архитектура: 24 слоя, hidden_size=2048, веса в bfloat16
• Лицензия: Apache-2.0










Комментарии