GECToR v5
компактная коррекция ошибок в баскском
2 min readupdated
GECToR v5 от itzune (Xabi Ezpeleta) — 125M-параметровая RoBERTa-модель для исправления грамматических ошибок в баскском. Это третья публичная версия семейства: архитектура и токенизатор как у v2, но качество на реальном тексте Wikipedia, по карточке, примерно вдвое выше. Подход GECToR — «tag, not rewrite»: модель делает минимальные правки, а не переписывает предложение.
Ключевые особенности
- Три головы: edit-label, error detection и error type — можно объяснить, почему слово изменено.
- Типы правок: spelling, morphology, punctuation, capitalization, zalantza, proper_noun, word_level, calque.
- 125M параметров, максимум 128 subwords, словарь правок на 3 501 метку.
- 89 МБ в int4 ONNX, около 50 мс на предложение на одном ядре CPU.
- Дистилляция из 8B LoRA-учителя; обучение на 313 822 записях, включая 170k предложений Wikipedia.
- Входит в ассистент письма txukun.
Пример
import json, onnxruntime as ort
from transformers import AutoTokenizer
bundle = 'itzune/gector-eus-v5-onnx'
tok = AutoTokenizer.from_pretrained(f'{bundle}/tokenizer', add_prefix_space=True)
vocab = json.load(open(f'{bundle}/gector_vocab.json'))
sess = ort.InferenceSession(f'{bundle}/onnx/model_q4.onnx', providers=['CPUExecutionProvider'])
# ids → labels → edits: см. reference decode loop
Подробнее
На реальном срезе Wikipedia: exact 13.5%, F0.5 43.7, clean FP 0.8%; с hunspell-каскадом — exact 14.6%, F0.5 44.1.Железо: 89 МБ int4 ONNX, ~50 мс на предложение на одном ядре CPU.
Ограничения: редкие опечатки вне 3 501 метки уходят в hunspell; соцсети не тестировались; лицензия CC-BY-NC-SA-4.0 — только non-commercial.










Comments