Датасет · gaia-benchmark
Бенчмарк для агентных LLM с инструментами
gaia-benchmark/GAIA
450+ нетривиальных вопросов с однозначным ответом для проверки LLM с инструментами и поиском.
Что внутри
GAIA — бенчмарк для оценки LLM следующего поколения с доступом к инструментам, поиску и автономным действиям. В нём более 450 нетривиальных вопросов с однозначным ответом, требующих разного уровня инструментов и самостоятельности. Данные включают аудио, документы, изображения и текст; язык — английский, доступ ограничен для защиты от скрейпинга.
Что можно сделать
- Оценка агентных LLM с инструментами
- Проверка мультимодального QA
- Сравнение моделей на лидерборде GAIA
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 17,3 тыс.
- Лайков
- 957
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- MLBenyamin/gpt2-gaia-lora-adapterГенерация текста 11
- jimjonesbabyfreshout/JefeHuggingface 0
- Prosoft82/Ahkam12 0
- andresproc/whisperКлассификация текста 0
- nurcan/nurrcan 0
- ChromaFlow9897/chromaflow-gaia-benchmark 0
- Santhoshwar2204/q3ewrtyhВопросы по таблицам 0
- MLBenyamin/Qwen3-0.6B-mlp-layer-EX-gaia-lora-adapter 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("gaia-benchmark/GAIA")