К содержимому
Другое

0c-ja-reranker

японский реранкер для метода ввода

2 мин чтенияобновлено

Модель представляет собой 8-слойный трансформер-энкодер на 33,8 млн параметров, предназначенный для переоценки (реранкинга) омофонов в японском методе ввода 0C. Учитывая контекст слева и справа от ключевого слова, она оценивает кандидатов из словаря и выбирает наиболее подходящий вариант написания. Модель обучена на корпусах Wikipedia и Stack Exchange, экспортирована в формат ONNX и поставляется в квантованном варианте int8 для быстрой работы на CPU.

Ключевые особенности

  • Специализация: Точный подбор японских омофонов с учетом контекста предложения.
  • Оптимизация: Экспорт в ONNX Runtime с инференсом в int8 для высокой скорости на процессоре.
  • Метрики: Достигает top-1 точности 86.45% при использовании режима top-3 gating.
  • Лицензия: Распространяется на условиях CC BY-SA 4.0 с открытым манифестом и атрибуцией.

Что можно сделать

  • Интегрировать модель в кастомный метод ввода (IME) или текстовый редактор для японского языка.
  • Использовать для постобработки и исправления омофонов в системах распознавания речи или OCR.
  • Запускать инференс через ONNX Runtime в Python-приложениях с минимальным потреблением памяти (около 62 МБ дельты).

Пример

import json
import numpy as np
import onnxruntime as ort
import sentencepiece as spm

sp = spm.SentencePieceProcessor(model_file="vocab.model")
session = ort.InferenceSession(
    "model.int8.onnx", providers=["CPUExecutionProvider"]
)
PAD, BOS, EOS = 0, 2, 3
SIDE, SEQ = 60, 124

def layout(left_ids, right_ids, candidate_id):
    ids = np.full(SEQ, PAD, dtype=np.int64)
    mask = np.zeros(SEQ, dtype=np.int64)
    ids[0] = BOS
    mask[0] = 1
    left = left_ids[-SIDE:]
    ids[1 + SIDE - len(left) : 1 + SIDE] = left
    mask[1 + SIDE - len(left) : 1 + SIDE] = 1
    ids[SIDE + 1] = EOS
    ids[SIDE + 2] = candidate_id
    ids[SIDE + 3] = EOS
    mask[SIDE + 1 : SIDE + 4] = 1
    right = right_ids[:SIDE]
    ids[SIDE + 4 : SIDE + 4 + len(right)] = right
    mask[SIDE + 4 : SIDE + 4 + len(right)] = 1
    return ids, mask

rows = [layout(left, right, sp.piece_to_id(surface)) for surface in candidates]
ids = np.stack([row[0] for row in rows])
mask = np.stack([row[1] for row in rows])
scores = session.run(None, {"input_ids": ids, "attention_mask": mask})[0]
best = candidates[int(np.argmax(scores))]
ПодробнееАрхитектура: D512, 8 слоев, 8 голов внимания, 33 864 193 параметра.
Производительность (int8): медиана задержки на батч из 5 кандидатов составляет 23.16 мс.
Требования к памяти: модель занимает около 62 МБ после загрузки.
Ограничения: требует строгого соблюдения позиционного макета (context length 60 токенов с каждой стороны, общая последовательность 124).
Обсудить Telegram 0

Запустится ли?

Запустится в INT8

Влезает без сжатия.

  • INT8рекомендуемвеса 0.0 GB · готовые файлы0.5 GB
  • 4-bitвеса 0.0 GB0.5 GB

Совет: берите 8-bit.INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: INT8 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # jeffpeng3/0c-ja-reranker
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download jeffpeng3/0c-ja-reranker --local-dir ~/models/0c-ja-reranker
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к 0c-ja-reranker
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии 0c-ja-reranker — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

jeffpeng3/0c-ja-reranker
Автор
jeffpeng3
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии