Swedish grammaticality scorer
точный детектор грамматических ошибок в шведском тексте
2 мин чтенияобновлено
Эта модель оценивает шведские тексты по шкале от 0 (плохо) до 1 (грамматически верно), предсказывая вероятность ошибок на уровне отдельных токенов (частей слов). Общая оценка предложения рассчитывается через вероятность отсутствия ошибок. Модель создана на базе AI-Sweden-Models/ModernBERT-base (компактная и быстрая архитектура ModernBERT) и обучена на огромной базе данных реальных и синтетических пар текстов. Она пригодится разработчикам образовательных приложений, редакторам и исследователям шведского языка для автоматической проверки текстов.
Ключевые особенности
- Детекция на уровне токенов: оценивает каждый фрагмент текста на наличие ошибок.
- Высокая скорость: обрабатывает тысячи образцов за считанные секунды даже на видеокартах начального уровня.
- Обучение на реальных данных: использует комбинацию синтетических текстов и датасетов реальных ошибок (DALAJ).
Что можно сделать
- Проверка текстов: интегрировать в приложения для изучающих шведский язык для выявления грамматических сбоев.
- Анализ качества: оценивать общую грамотность предложений в больших корпусах шведских текстов.
- Лингвистические пайплайны: использовать в качестве компонента автоисправления или корректуры.
Пример
from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch
tok = AutoTokenizer.from_pretrained("untrue5149/swedish-grammaticality-modernbert-base")
model = AutoModelForTokenClassification.from_pretrained("untrue5149/swedish-grammaticality-modernbert-base").eval()
enc = tok(["Vi måste köper mjölk."], return_tensors="pt")
logits = model(**enc).logits.squeeze(-1)[0, 1:-1] # drop [CLS]/[SEP]
score = torch.nn.functional.logsigmoid(-logits).sum().exp() # P(no token is wrong)
Подробнее
Бенчмарки: ROC-AUC на тестовых данных до 0.95Требования: протестировано на NVIDIA GeForce RTX 3050 6GB
Объем данных: обучена на 154 258 парах предложений
Базовая модель: AI-Sweden-Models/ModernBERT-base (0.15 млрд параметров)










Комментарии