К содержимому

Датасет · futurehouse

Бенчмарк по биологическим исследованиям

futurehouse/lab-bench

Набор текстовых и визуальных задач для оценки способностей ИИ-агентов в научной биологии.

Что внутри

Внутри собраны вопросы и ответы в формате текста и изображений (от 1 000 до 10 000 примеров), разделённые на 8 категорий и 30 подзадач. Данные охватывают извлечение фактов из научных статей, поиск по базам данных, анализ дополнительных материалов и интерпретацию научных графиков.

Что можно сделать

  • Оценка научных ИИ-агентов в области биологии
  • Тестирование мультимодальных моделей на понимание научных иллюстраций и графиков
  • Проверка систем поиска информации по научной литературе и базам данных
Задачи
Вопрос-ответ
Размер
1K–10K записей
Скачиваний за месяц
21,4 тыс.
Лайков
54

Как загрузить

from datasets import load_dataset

ds = load_dataset("futurehouse/lab-bench")