Redline Qwen3-0.6B
компактный корректор грамматики английского языка
2 мин чтенияобновлено
Модель выполняет полный файнтюн (дообучение всех параметров) языковой модели Qwen3-0.6B для проверки грамматики, орфографии и пунктуации в английских предложениях. Она принимает на вход текст и возвращает исправленный вариант либо оставляет его без изменений, если ошибок нет. Главное отличие от аналогов вроде coedit-large — крайне низкий показатель ложных срабатываний (no-op rate), то есть модель не переписывает корректный текст зря. Инструмент пригодится разработчикам ботов, редакторам и всем, кому нужна быстрая локальная проверка текстов.
Ключевые особенности
- Высокая точность: Обходит более крупную модель coedit-large на тесте JFLEG (59.02 GLEU против 55.60).
- Бережное отношение к тексту: Оставляет правильные предложения неизмененными в 87% случаев.
- Компактность: Базируется на эффективной архитектуре с размером всего 0.6B параметров.
- Специализация: Обучена на смеси человеческих и синтетических датасетов с акцентом на сохранение исходного смысла.
Что можно сделать
- Интеграция в чат-боты: Добавить автоматическую проверку орфографии и грамматики в мессенджеры или сервисы поддержки.
- Текстовые редакторы: Встроить модель в локальные плагины для быстрой подсветки и исправления ошибок на лету.
- Пайплайны обработки данных: Использовать для очистки и исправления больших текстовых корпусов перед обучением или анализом.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "ahmedoussama/redline-qwen3-0.6b"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")
INSTRUCTION = (
"Correct the grammar, spelling, and punctuation of the sentence. "
"Do not change its meaning or style. "
"Reply with the corrected sentence only. "
"If it is already correct, repeat it unchanged."
)
prompt = tok.apply_chat_template(
[{"role": "user", "content": INSTRUCTION + "\nShe go to school every days and dont like it."}],
tokenize=False, add_generation_prompt=True, enable_thinking=False,
)
enc = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**enc, max_new_tokens=160, do_sample=False)
print(tok.decode(out[0, enc["input_ids"].shape[1]:], skip_special_tokens=True).strip())Подробнее
• Базовая модель: Qwen/Qwen3-0.6B (полный файнтюн всех 596M параметров)• Бенчмарк JFLEG: 59.02 GLEU при жадной декoдировке (greedy decoding)
• Данные: 149 843 пары исправления и 17 981 корректное предложение
• Обучение: 1 эпоха на одном GPU NVIDIA T4 за 5 часов 18 минут с использованием стека LLaMA-Factory
• Ограничения: Только английский язык, предложения ограничены 300 символами (длинные тексты нужно разбивать)










Комментарии