CogBench CCS

CogBench CCS — англоязычный BERT-классификатор от mkunuku, часть бенчмарка CogBench (NeurIPS 2026 Evaluations & Datasets Track). По тексту учебного вопроса и предмету он предсказывает уровень Bloom’s taxonomy от 1 Remember до 6 Create. Нужен, чтобы проверять, попадают ли вопросы, сгенерированные LLM, в запрошенный когнитивный уровень.

🧐 Ключевые особенности

• 🧐 Предсказывает уровень Bloom’s taxonomy от 1 Remember до 6 Create по тексту вопроса с указанием предмета.
• 🤖 База — bert-base-uncased, [CLS]-пулинг; голова с LayerNorm, Dropout и тремя Linear-слоями.
• 🔥 Обучен на 739 размеченных вручную вопросах по 5-fold stratified CV; вход — до 128 токенов.
• 👀 В комплекте пять state_dict по фолдам; fold_0 — дефолт, fold_3 — лучшая точность на одном фолде.
• 🫡 Есть готовый пайплайн в репозитории CogBench: CCSPredictor и оценка соответствия сгенерированных вопросов запрошенному уровню.

🤖 Пример

from huggingface_hub import hf_hub_download
import sys
sys.path.insert(0, "CogBench")
from ccs_model.predict import CCSPredictor

ckpt = hf_hub_download("mkunuku/cogbench-ccs", "fold_0/best_model_classification.pt")
ccs = CCSPredictor(checkpoint_path=ckpt, mode="classification", device="cpu")
score = ccs.predict("Compare inductive and deductive reasoning.", subject="biology")
print(score.level, score.name, score.confidence)

Подробнее

Out-of-fold на 739 вопросах: exact accuracy 0.820, adjacent accuracy 0.890, macro F1 0.819.
Сложнее всего уровень L3 Apply — F1 0.675, его чаще путают с L6 Create.
Модель только для английского, вход до 128 токенов; веса переобучены 2026-11-01 и не бит-в-бит совпадают с исходными.
Лицензия CC-BY-4.0.