UltraBERT JEV 380M
выбор варианта без генерации текста
2 min readupdated
Модель читает состояние (набор фрагментов), вопрос и список вариантов и выбирает один вариант за один forward pass, не генерируя текст. Это полностью дообученный UltraBERT-380M от dmis-lab: перед каждым вариантом ставится mask-токен, а вариант оценивается по логитам в этой позиции. В этом чекпоинте счёт варианта — разница логитов « yes» и « no»; обучение шло на смеси Reason+Long из LLM-as-Jev с добавлением Nimble. Пригодится для английских задач выбора: да/нет, классификация, ответ на вопрос по документу. Важно: веса нужно грузить в fp32 и использовать точный формат промпта.
Ключевые особенности
- Один forward pass вместо генерации: на выходе индекс выбранного варианта и scores.
- Специальный промпт: один mask-токен перед каждым вариантом, варианты нумеруются [1], [2] и т.д.
- Средняя точность 72.8% на dev и 72.6% на test по 13 датасетам.
- Только английский; вне обучающей смеси точность ниже — около 58–60% на шести внешних бенчмарках (MMLU, BoolQ и др.).
- Требует fp32: в bf16 точность падала до 8 пунктов на длинных документах (MuSiQue).
Что можно сделать
- Сделать английский да/нет-классификатор для проверки фактов или условий в текс��е.
- Выбирать ответ из списка по контексту: например, по фрагментам договора и вопросу.
- Встроить в пайплайн как быстрый решатель без генерации: получаешь индекс и scores.
- Сравнить четыре рецепта скоринга из карточки на своей задаче.
Пример
import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
REPO = "Athekunal/ultrabert-jev-380m-softmax-yesno"
tok = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForMaskedLM.from_pretrained(REPO, dtype=torch.float32).to("cuda").eval()
YES = tok(" yes", add_special_tokens=False)["input_ids"][0]
NO = tok(" no", add_special_tokens=False)["input_ids"][0]
# далее используйте build_prompt() и decide() из карточки с score="yes-no"
Подробнее
Точность: dev 72.8%, test 72.6% (среднее по 13 датасетам).Обучение: 1 эпоха, batch 32, lr 1.5e-5; данные — Reason+Long из LLM-as-Jev + Nimble.
Ограничения: английский, до 10 240 токенов, без объяснения выбора; внешние бенчмарки ~58–60%.
Железо: грузить в fp32; bf16 меняет результаты до 8 пунктов на MuSiQue.










Comments