UltraBERT Curation

davanstrien выпустил компактную модель решений для очистки и сортировки данных: она принимает текст и набор именованных вопросов, а возвращает вероятности по вариантам без генерации текста. В основе — энкодер UltraBERT-380M и scoring head GLiClass; модель говорит на Jev / System One API и работает как обычный GLiClass zero-shot классификатор.

⚙ Ключевые особенности

• 🗂 Обучена на 535 730 строках; открыто 516 964 — у каждой строки указаны источник, разметчик и лицензия.
• ⚙ Поддерживает типы вопросов choice, noul и score, а также GLiClass pipeline.
• ✅ Для курации веб-страниц, промптов, математических задач и библиотечных записей: тема, формат, образовательная ценность, сложность, тип задачи, валидность, каталожный класс.
• ⚡ До ~530 question-rows/s на одной RTX PRO 6000 через packed GPU batch scoring.
• 🚀 Скрипт curate.py запускает оценку датасета на Hugging Face Jobs одной командой.
• 🛡 Это специалист, а не универсальная модель: на общих решениях она заметно слабее.

💻 Пример

import torch
from gliclass import GLiClassModel, ZeroShotClassificationPipeline
from transformers import AutoTokenizer
model = GLiClassModel.from_pretrained("davanstrien/ultrabert-380m-curation", dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("davanstrien/ultrabert-380m-curation")
pipe = ZeroShotClassificationPipeline(model, tokenizer, classification_type="single-label", max_length=2048, device="cuda:0")
pipe("…текст страницы…", ["News", "Tutorial", "Product page", "Forum thread"], prompt="What is the format of this web page?")

Подробнее

Curation score: 0.705 против 0.500 у GLiClass Edge и 0.582 у d1-2B.
На общих решениях Decision Index 22.1 против 47.5 и 51.1 — это действительно специалист.
API принимает до 4 096 токенов, быстрый путь обрезает на 2 048; тестировалась модель только на английском.
Выходы стоит воспринимать как сигналы для сортировки, а не как истину.