project-creation-quality-distilbert-v1
гибридный классификатор качества проектных заданий
2 min readupdated
Лёгкая модель на базе distilbert-base-uncased (~67M параметров) от автора mjpsm, дообученная для автоматической проверки описаний учебных или проектных задач на английском языке. Это multilabel-классификатор (модель, способная присваивать тексту сразу несколько меток) на 12 категорий ошибок по таксономии v3.0.0. Вместе с весами в репозитории идёт пакет v3cls с детерминированным валидатором на основе 7 жёстких правил и движком принятия решений. На выходе система выдаёт вердикт ACCEPT или REJECT со списком кодов нарушенных требований. Подойдёт разработчикам образовательных платформ и EdTech-сервисов, которым нужно автоматически фильтровать или валидировать сгенерированные описания проектов.
Ключевые особенности
- Гибридная архитектура: нейросеть отвечает за семантические проверки (например, соответствие теме или возрастным ограничениям), а встроенный пакет
v3clsдобавляет детерминированные правила. - Поддержка 12 классов нарушений: от отсутствия технического артефакта и размытых критериев готовности до проблем с заголовком и отсутствия образовательных результатов.
- Калиброванные пороги уверенности (
v3_thresholds.json) для каждой из 12 меток, подобранные на валидационной выборке. - Нулевой уровень ложных отказов (false rejects = 0) при общей точности принятия решений 0.94 на тестовом наборе всей гибридной системы.
Что можно сделать
- Встроить в пайплайн генерации учебных проектов в EdTech-платформе для автоматической отбраковки заданий без чёткого результата или с нарушением возрастных рамок.
- Использовать как референс для построения собственных гибридных систем модерации, где компактный BERT-классификатор сочетается с rule-based проверками.
Пример
from huggingface_hub import snapshot_download
import sys
path = snapshot_download("mjpsm/project-creation-quality-distilbert-v1")
sys.path.insert(0, path)
from v3cls.inference import V3Classifier
clf = V3Classifier(path)
clf.classify(prompt="...", title="...", description="...")
Подробнее
Метрики всей гибридной системы на тесте: decision accuracy — 0.94, exact match списка ошибок — 0.77, F1 для класса reject — 0.9552 (precision 1.0, recall 0.9143).Обучена на 1 000 синтетических и эталонных записях (разбиение 800/100/100: 300 корректных, 490 с одним нарушением и 210 с несколькими).
Ограничения: тестовая выборка небольшая (100 записей, по 2–9 примеров на класс), низкий recall на метке SAFETY_OR_OVERCLAIM (0.125) — автор рекомендует проверять выводы перед использованием в продакшене.










Comments