Датасет · RussianNLP
Бенчмарк Russian SuperGLUE для русского языка
RussianNLP/russian_super_glue
Набор из девяти сложных задач на понимание языка и логику для оценки русскоязычных моделей.
Что внутри
Это русскоязычный аналог известного бенчмарка SuperGLUE, созданный с нуля для диагностики общих интеллектуальных навыков языковых моделей. Внутри от 100 тысяч до 1 миллиона примеров для задач классификации текстов, ответов на вопросы, zero-shot-классификации и генерации, проверяющих логический вывод и здравый смысл. К набору прилагаются бейзлайны, оценки уровня человека и открытый фреймворк для тестирования.
Что можно сделать
- Комплексная оценка качества русскоязычных LLM на понимание текста и логику
- Сравнение моделей с бейзлайнами и результатами людей в едином пайплайне
- Задачи
- Классификация текста, Вопрос-ответ, Zero-shot классификация, Генерация текста
- Языки
- Русский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 36
Модели, обученные на нём
- deepvk/USER-bge-m3Похожесть текстов 403,5 тыс.
- deepvk/USER-baseПохожесть текстов 29,4 тыс.
- 6E6E/ru-decision-4bКлассификация текста 113
- alela32/USER-bge-m3-Q8_0-GGUFПохожесть текстов 111
- lucky-striker/gemma4-e2b-decision-ruКлассификация текста 67
- Content-AI/USER-bge-m3-Q8_0-GGUFПохожесть текстов 59
- sparkhonyuk/USER-bge-m3-Q5_K_M-GGUFПохожесть текстов 58
- cm4ker/USER-bge-m3-Q4_K_M-GGUFПохожесть текстов 54
Как загрузить
from datasets import load_dataset
ds = load_dataset("RussianNLP/russian_super_glue")