Датасет · futurehouse
Бенчмарк по биологическим исследованиям
futurehouse/lab-bench
Набор текстовых и визуальных задач для оценки способностей ИИ-агентов в научной биологии.
Что внутри
Внутри собраны вопросы и ответы в формате текста и изображений (от 1 000 до 10 000 примеров), разделённые на 8 категорий и 30 подзадач. Данные охватывают извлечение фактов из научных статей, поиск по базам данных, анализ дополнительных материалов и интерпретацию научных графиков.
Что можно сделать
- Оценка научных ИИ-агентов в области биологии
- Тестирование мультимодальных моделей на понимание научных иллюстраций и графиков
- Проверка систем поиска информации по научной литературе и базам данных
- Задачи
- Вопрос-ответ
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 21,4 тыс.
- Лайков
- 54
Как загрузить
from datasets import load_dataset
ds = load_dataset("futurehouse/lab-bench")