ModernBERT MoE

Это замороженный файнтюн answerdotai/ModernBERT-base с кастомной mixture-of-experts регрессионной головой от Stepwise. Модель принимает вопрос IELTS Writing Task 2 и эссе и оценивает четыре half-band score: Task Response, Coherence and Cohesion, Lexical Resource и Grammatical Range and Accuracy. Целевой балл на вход не подаётся; размер — около 0.15 млрд параметров, язык — английский.

💯 Ключевые особенности

• 🤖 Четыре эксперта в голове выдают отдельные оценки TR, CC, LR и GRA.
• 👀 Encoder заморожен: голову обучали 12 эпох, затем совместно с encoder — ещё 3 эпохи на 4 096 эссе.
• 💯 MAE на тесте — 1.079 band point в среднем по overall.
• ⛔ Это numeric scorer с кастомной головой: стандартные text-generation или fill-mask pipeline его не запускают.
• 🚫 Оценки только для практики и исследований, не замена экзаменатору IELTS.

🚀 Пример

Подготовьте JSON с полями prompt и essay, затем запустите:

python -m pip install -r requirements.txt
python score.py example.json

Подробнее

MAE на 72 тестовых эссе: overall 1.079; TR 1.086; CC 1.100; LR 1.000; GRA 1.129 band point.
Обучение: 4 096 эссе; dev — 256 эссе, тест — 72; на dev выбран joint epoch 2.
Ограничение: оценки Writing9 не проверены экзаменаторами IELTS; лицензия исходных данных неизвестна.
База ModernBERT-base — Apache 2.0; репозиторий не распространяет сырые эссе и их оценки.