0c-ja-reranker
японский реранкер для метода ввода
2 мин чтенияобновлено
Модель представляет собой 8-слойный трансформер-энкодер на 33,8 млн параметров, предназначенный для переоценки (реранкинга) омофонов в японском методе ввода 0C. Учитывая контекст слева и справа от ключевого слова, она оценивает кандидатов из словаря и выбирает наиболее подходящий вариант написания. Модель обучена на корпусах Wikipedia и Stack Exchange, экспортирована в формат ONNX и поставляется в квантованном варианте int8 для быстрой работы на CPU.
Ключевые особенности
- Специализация: Точный подбор японских омофонов с учетом контекста предложения.
- Оптимизация: Экспорт в ONNX Runtime с инференсом в int8 для высокой скорости на процессоре.
- Метрики: Достигает top-1 точности 86.45% при использовании режима top-3 gating.
- Лицензия: Распространяется на условиях CC BY-SA 4.0 с открытым манифестом и атрибуцией.
Что можно сделать
- Интегрировать модель в кастомный метод ввода (IME) или текстовый редактор для японского языка.
- Использовать для постобработки и исправления омофонов в системах распознавания речи или OCR.
- Запускать инференс через ONNX Runtime в Python-приложениях с минимальным потреблением памяти (около 62 МБ дельты).
Пример
import json
import numpy as np
import onnxruntime as ort
import sentencepiece as spm
sp = spm.SentencePieceProcessor(model_file="vocab.model")
session = ort.InferenceSession(
"model.int8.onnx", providers=["CPUExecutionProvider"]
)
PAD, BOS, EOS = 0, 2, 3
SIDE, SEQ = 60, 124
def layout(left_ids, right_ids, candidate_id):
ids = np.full(SEQ, PAD, dtype=np.int64)
mask = np.zeros(SEQ, dtype=np.int64)
ids[0] = BOS
mask[0] = 1
left = left_ids[-SIDE:]
ids[1 + SIDE - len(left) : 1 + SIDE] = left
mask[1 + SIDE - len(left) : 1 + SIDE] = 1
ids[SIDE + 1] = EOS
ids[SIDE + 2] = candidate_id
ids[SIDE + 3] = EOS
mask[SIDE + 1 : SIDE + 4] = 1
right = right_ids[:SIDE]
ids[SIDE + 4 : SIDE + 4 + len(right)] = right
mask[SIDE + 4 : SIDE + 4 + len(right)] = 1
return ids, mask
rows = [layout(left, right, sp.piece_to_id(surface)) for surface in candidates]
ids = np.stack([row[0] for row in rows])
mask = np.stack([row[1] for row in rows])
scores = session.run(None, {"input_ids": ids, "attention_mask": mask})[0]
best = candidates[int(np.argmax(scores))]
Подробнее
Архитектура: D512, 8 слоев, 8 голов внимания, 33 864 193 параметра.Производительность (int8): медиана задержки на батч из 5 кандидатов составляет 23.16 мс.
Требования к памяти: модель занимает около 62 МБ после загрузки.
Ограничения: требует строгого соблюдения позиционного макета (context length 60 токенов с каждой стороны, общая последовательность 124).










Комментарии