К содержимому

Датасет · RussianNLP

Бенчмарк Russian SuperGLUE для русского языка

RussianNLP/russian_super_glue

Набор из девяти сложных задач на понимание языка и логику для оценки русскоязычных моделей.

Что внутри

Это русскоязычный аналог известного бенчмарка SuperGLUE, созданный с нуля для диагностики общих интеллектуальных навыков языковых моделей. Внутри от 100 тысяч до 1 миллиона примеров для задач классификации текстов, ответов на вопросы, zero-shot-классификации и генерации, проверяющих логический вывод и здравый смысл. К набору прилагаются бейзлайны, оценки уровня человека и открытый фреймворк для тестирования.

Что можно сделать

  • Комплексная оценка качества русскоязычных LLM на понимание текста и логику
  • Сравнение моделей с бейзлайнами и результатами людей в едином пайплайне
Задачи
Классификация текста, Вопрос-ответ, Zero-shot классификация, Генерация текста
Языки
Русский
Размер
100K–1M записей
Скачиваний за месяц
1,1 тыс.
Лайков
36

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("RussianNLP/russian_super_glue")