Датасет · futurehouse
Бенчмарк BixBench с капсулами данных для ИИ-агентов
futurehouse/BixBench
Обновлённый бенчмарк объёмом до 1 000 задач с файлом вопросов BixBench.jsonl и архивами данных для проверки моделей.
Что внутри
Бенчмарк включает файл с вопросами BixBench.jsonl и набор связанных с ними «капсул данных» в виде zip-архивов (CapsuleFolder-{uuid}.zip). В сентябре 2025 года датасет прошёл масштабную ревизию: авторы переработали формулировки вопросов для корректной оценки ответов в открытом формате и обновили структуру файлов.
Что можно сделать
- Оценка способности LLM и ИИ-агентов отвечать на сложные вопросы на основе прилагаемых архивов с данными
- Тестирование аналитических пайплайнов в режиме открытых ответов (open-answer setting)
- Размер
- до 1K записей
- Скачиваний за месяц
- 45,8 тыс.
- Лайков
- 43
Как загрузить
from datasets import load_dataset
ds = load_dataset("futurehouse/BixBench")