template-tagger-qwen3.5-4b-lora
автоматическая вставка тегов в шаблоны документов
2 min readupdated
LoRA-адаптер (небольшая надстройка над базовой моделью) для Qwen3.5-4B от MeerDevelopment, который умеет расставлять шаблонные переменные в готовом тексте документа. На вход нейросеть получает список тегов с их подписями и сам документ, а на выходе возвращает пары «имя тега — текстовый якорь», указывая, куда именно нужно вставить переменную. В отличие от обычных LLM, модель не переписывает текст заново, благодаря чему исходный файл остаётся неизменным байт в байт. Решение пригодится разработчикам систем документооборота и тем, кто хочет автоматизировать подготовку типовых договоров.
Ключевые особенности
- Сохранение исходного текста: модель выдаёт только координаты (якоря до 40 символов) для вставки тегов, полностью исключая галлюцинации и случайные правки в самом документе.
- Независимость от синтаксиса шаблонизатора: адаптер возвращает чистые имена тегов, а обёртки вроде
${},{{}}или<<>>подставляет вызывающий скрипт. - Два варианта загрузки: доступны как веса PEFT-адаптера, так и уже объединённая (merged) версия в формате
bf16. - Открытая лицензия: распространяется под Apache 2.0, как и базовая Qwen3.5-4B.
Что можно сделать
- Автоматизация верстки шаблонов: ускорить разметку договоров купли-продажи, актов приёмки и строительных контрактов (основной домен обучения модели) для последующей ручной проверки.
- Дообучение под свои бланки: использовать модель и описанный в карточке пайплайн как отправную точку для создания собственного теггера под русскоязычные или корпоративные шаблоны.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-4B", torch_dtype=torch.bfloat16)
model = PeftModel.from_pretrained(base, "MeerDevelopment/template-tagger-qwen3.5-4b-lora")
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-4B")
Подробнее
Метрики (F1): 0.842 на реалистичных синтетических данных (против 0.000 у базовой Qwen3.5-4B) и 0.238 на реальных сканах договоров.Статус: proof of concept (не готово для продакшена без проверки человеком).
Обучение: 469 синтетических документов (3964 окна), ~80% на нидерландском и ~20% на английском языке, точность bf16.
Ограничения: при запуске нужно задавать
enable_thinking=False, а тексты длиннее ~1200 символов разбивать на окна по абзацам.









Comments