К содержимому

Датасет · livebench

Бенчмарк анализа данных без утечек в обучение

livebench/data_analysis

Обновляемые сложные задачи по анализу данных с объективными ответами для честной оценки языковых моделей.

Что внутри

Текстовый датасет объёмом менее 1000 примеров из проекта LiveBench, который борется с попаданием тестовых данных в обучающие выборки. Вопросы регулярно обновляются и строятся на свежих наборах данных, статьях с arXiv, новостях и описаниях фильмов с IMDb. Для каждого задания предусмотрен однозначный и проверяемый правильный ответ.

Что можно сделать

  • Независимая проверка LLM на способность анализировать данные и работать с фактами
  • Сравнение моделей без риска завышения метрик из-за заучивания ответов при обучении
Размер
до 1K записей
Скачиваний за месяц
23,5 тыс.
Лайков
8

Как загрузить

from datasets import load_dataset

ds = load_dataset("livebench/data_analysis")