К содержимому

Датасет · UnipatAI

Бенчмарк предсказания результатов мокрых экспериментов

UnipatAI/SPU

100 научных задач из свежих статей для проверки умения ИИ ранжировать кандидатов по итогам реальных опытов.

Что внутри

В наборе собрано 100 публичных задач на английском языке, составленных на основе 85 научных статей. В каждом задании зафиксированы кандидаты, материалы, условия и протокол измерений реального лабораторного («мокрого») эксперимента, а от модели требуется проранжировать кандидатов по измеренному результату. В данных присутствуют текст и изображения.

Что можно сделать

  • Оценка мультимодальных LLM и научных агентов на задачах планирования экспериментов
  • Проверка способности моделей предсказывать физико-химические и биологические исходы без проведения опытов
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
1,7 тыс.
Лайков
2

Как загрузить

from datasets import load_dataset

ds = load_dataset("UnipatAI/SPU")