К содержимому

Датасет · futurehouse

Бенчмарк BixBench с капсулами данных для ИИ-агентов

futurehouse/BixBench

Обновлённый бенчмарк объёмом до 1 000 задач с файлом вопросов BixBench.jsonl и архивами данных для проверки моделей.

Что внутри

Бенчмарк включает файл с вопросами BixBench.jsonl и набор связанных с ними «капсул данных» в виде zip-архивов (CapsuleFolder-{uuid}.zip). В сентябре 2025 года датасет прошёл масштабную ревизию: авторы переработали формулировки вопросов для корректной оценки ответов в открытом формате и обновили структуру файлов.

Что можно сделать

  • Оценка способности LLM и ИИ-агентов отвечать на сложные вопросы на основе прилагаемых архивов с данными
  • Тестирование аналитических пайплайнов в режиме открытых ответов (open-answer setting)
Размер
до 1K записей
Скачиваний за месяц
45,8 тыс.
Лайков
43

Как загрузить

from datasets import load_dataset

ds = load_dataset("futurehouse/BixBench")