Qwen3.5-0.8B-TextPreprocessor
очистка грязного текста для LLM
2 мин чтенияобновлено
Компактная языковая модель на 0.85 млрд параметров для предварительной чистки сырого текста, который пользователи вставляют в промпты: она удаляет мусорные символы и HTML-теги, нормализует пробелы, переносы строк и пунктуацию, но оставляет сам смысл нетронутым. Модель основана на Qwen/Qwen3.5-0.8B и обучена методом дистилляции (переноса знаний от более крупной модели) от DeepSeek-V4.1-Flash с помощью LoRA SFT. В отличие от универсальных LLM, она не переписывает фразы, не исправляет опечатки, не переводит и не додумывает текст — только приводит формат в порядок. Пригодится разработчикам чат-ботов, RAG-пайплайнов и любых сервисов, куда попадает неряшливый копипаст из браузера или документов.
Ключевые особенности
- Только формат, без вмешательства в смысл: убирает невидимые символы, BOM, управляющие коды, HTML-теги и сущности, но не редактирует текст и не маскирует персональные данные.
- Умная нормализация: переводит полноширинные латинские буквы и цифры в полуширинные, выравнивает пунктуацию, сжимает повторы от 3 символов подряд и склеивает разорванные при вёрстке строки.
- Защита от галлюцинаций: если текст уже чистый, модель оставляет его без изменений; двойные повторы иероглифов также не трогает, чтобы не сломать нормальные слова.
- Лёгкий запуск: модель весит 1.34 ГБ, при обучении на RTX 4060 пиковое потребление VRAM составило всего 3.15 GiB.
Что можно сделать
- Поставить перед основной LLM в чат-боте или API-шлюзе, чтобы чистить сырой пользовательский ввод и экономить токены на мусорной разметке.
- Встроить в конвейер подготовки данных для индексации документов, где много HTML-обрывков, лишних пробелов и кривых переносов строк.
- Использовать в связке с детерминированным скриптом
repair_mojibake()из репозитория автора: сначала скрипт на уровне байтов чинит битую кодировку, затем модель вычищает форматирование.
Пример
from transformers import AutoModelForImageTextToText, AutoTokenizer
repo = "wjwjwjwjwjww/Qwen3.5-0.8B-TextPreprocessor"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(repo, dtype="float16", device_map="auto")
# В system-промпт передаётся точная инструкция из карточки, do_sample=FalseПодробнее
Качество: на синтетическом тесте rule/test (600 примеров) полное совпадение 91.5% (сходство символов 0.994), на тесте teacher/test_v3 (148 примеров) — 86.5% (сходство 0.997).Обучение: LoRA (r=16, alpha=32, 7.3M обучаемых параметров) в bfloat16 на 9012 синтетических и 1774 примерах от DeepSeek-V4.1-Flash.
Ограничения: рассчитана в основном на китайский и английский языки; битую кодировку сама не чинит; тексты длиннее ~3000 символов лучше подавать частями; выравнивание колонок в текстовых таблицах нарушается.
Лицензия: Apache-2.0.










Комментарии