dwiiittt/telaah-tor-qwen3-4b-instruct-2507
ИИ-аудитор проектной документации
2 мин чтенияобновлено
Модель оценивает логику и полноту разделов TOR/KAK (технических заданий и концепций) на основе чек-листа критериев PMK 41/2026. На выходе система выдает структурированный объект JSON с вердиктом по каждому пункту, обоснованием с цитатами из текста и конкретными рекомендациями по доработке. Проект создан на базе компактной архитектуры Qwen/Qwen3-4B-Instruct-2507 с применением LoRA (небольшой обучаемой надстройки над базовой моделью) и обучен на специализированном датасете министерских документов. Инструмент будет полезен специалистам по проверке документов, аналитикам и разработчикам систем автоматизированного госаудита.
Ключевые особенности
- Автоматическая проверка логики ключевых разделов (обоснование, стратегия, риски, затраты).
- Высокая точность оценки на тестовом наборе данных с балансированной аккуратностью более 95%.
- Строгий JSON-формат вывода результатов без лишнего текста и синтаксических ошибок.
- Отличный баланс компактного размера (4 млрд параметров) и производительности на уровне более крупных моделей.
Что можно сделать
- Встроить модель в корпоративный конвейер проверки проектных документов и технических заданий.
- Развесить автоматизированного бота для первичного ревью заявок и отчетов.
- Запустить локально через vLLM для пакетной обработки десятков текстовых файлов.
- Использовать в качестве ассистента для поиска логических несостыковок в планах проектов.
Пример
Пример использования модели для проверки технического задания через библиотеку transformers:
import json, torch
from transformers import AutoModelForCausalLM, AutoTokenizer
REPO = "dwiiittt/telaah-tor-qwen3-4b-instruct-2507"
tok = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(REPO, dtype=torch.bfloat16, device_map="auto").eval()
messages = [{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": USER_TEXT}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
enc = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)
out = model.generate(**enc, max_new_tokens=768, do_sample=False)
print(json.loads(tok.decode(out[0, enc["input_ids"].shape[1]:], skip_special_tokens=True)))Подробнее
• Метрики: F1 для класса «не логично» составляет 0,969, общая аккуратность документов — 96,5%.• Железо: обучено на 1× NVIDIA A100 (80 GB), требует поддержки bf16 и библиотек transformers>=4.51.
• Ограничения: хуже справляется с проверкой удаленных объемов RO и общих описаний без собственных заголовков; это вспомогательный инструмент, а не замена человеку.
• Архитектура: SFT с LoRA (all-linear, r=16, alpha=32) на базе Qwen3-4B-Instruct-2507.










Комментарии