kotoshu/grammar-ru v11
локальная проверка грамматики русского языка
2 мин чтенияобновлено
Компактная модель от автора kotoshu для исправления грамматических ошибок в текстах на русском языке полностью локально, без доступа к сети и в реальном времени даже на CPU. В её основе лежит энкодер microsoft/mdeberta-v3-base с архитектурой разметки токенов в стиле GECToR (алгоритм исправляет текст итеративно за несколько проходов). Благодаря очистке словаря и квантованию в формат int8 ONNX итоговый файл весит всего 457.2 МБ, заметно превосходя предыдущую версию v8 по точности правок. Решение подойдёт разработчикам для встраивания быстрой офлайн-проверки правописания в десктопные программы, локальные редакторы и сервисы.
Ключевые особенности
- Лёгкий вес и скорость: модель весит 457.2 МБ в формате int8 ONNX и работает в реальном времени на обычном процессоре без GPU.
- Итеративное исправление: использует декодер GECToR с многопроходным применением тегов (до 4 раундов) и правилом отступа
MARGIN=1.0. - Комбинированный датасет: обучена на 182 031 примере, включающем синтетические пары на базе русской Википедии и исправления, проверенные моделью GLM-5.3-Flash.
- Точность на уровне оригинала: обрезанная ONNX-версия полностью совпадает по ответам с исходной моделью torch-fp32 (максимальное отклонение 0.003).
Что можно сделать
- Встроить в офлайн-приложение: добавить приватную проверку русской грамматики в текстовый редактор, заметки или почтовый клиент без отправки данных в облако.
- Подключить к Ruby-проектам: использовать готовую связку из токенизации на чистом Ruby (SpmBpe) и ONNX Runtime для бэкенд-валидации пользовательского текста.
- Автоматизировать предмодерацию: быстро отлавливать опечатки и грамматические ошибки в потоке сообщений на сервере без затрат на видеокарты.
Пример
В штатной конфигурации модель запускается через ONNX Runtime с токенизатором SpmBpe и параметрами декодера GectorDecoder: ROUNDS=4, MIN_CONFIDENCE=0.0 и MARGIN=1.0 (нулевой порог уверенности выбран намеренно, так как для данного энкодера уверенность декодера обратно коррелирует с правильностью исправления). На вход подаётся текст на русском языке, а на выходе за несколько итераций формируется исправленный вариант с высокой точностью правок (Precision 0.856).
Подробнее
Метрики (812 пар, ru held-out gold): Precision — 0.856 (против 0.708 у v8), Recall — 0.139, F0.5 — 0.4216 (против 0.3854 у v8).Размер и формат: 457.2 МБ, int8 ONNX на базе microsoft/mdeberta-v3-base.
Обучение: 3 раунда в bf16 (112 567 синтетических пар + 69 464 исправления GLM-5.3-Flash).
Лицензия: CC BY-NC-SA 4.0 (только для некоммерческого использования).










Комментарии