Датасет · livebench
Бенчмарк анализа данных без утечек в обучение
livebench/data_analysis
Обновляемые сложные задачи по анализу данных с объективными ответами для честной оценки языковых моделей.
Что внутри
Текстовый датасет объёмом менее 1000 примеров из проекта LiveBench, который борется с попаданием тестовых данных в обучающие выборки. Вопросы регулярно обновляются и строятся на свежих наборах данных, статьях с arXiv, новостях и описаниях фильмов с IMDb. Для каждого задания предусмотрен однозначный и проверяемый правильный ответ.
Что можно сделать
- Независимая проверка LLM на способность анализировать данные и работать с фактами
- Сравнение моделей без риска завышения метрик из-за заучивания ответов при обучении
- Размер
- до 1K записей
- Скачиваний за месяц
- 23,5 тыс.
- Лайков
- 8
Как загрузить
from datasets import load_dataset
ds = load_dataset("livebench/data_analysis")