К содержимому

Датасет · Eureka-Lab

Бенчмарк физического восприятия и рассуждений для LLM

Eureka-Lab/PHYBench

Набор текстовых задач на английском языке для оценки понимания физики большими языковыми моделями.

Что внутри

Внутри находятся текстовые задачи для проверки восприятия и логических рассуждений в области физики на английском языке. Объём датасета составляет от 1 000 до 10 000 записей. Авторы также выпустили код метрики EED Score для оценки качества ответов и ведут таблицу лидеров.

Что можно сделать

  • Оценка способности LLM решать физические задачи и проводить рассуждения
  • Сравнение моделей между собой с помощью метрики EED Score
  • Анализ ошибок языковых моделей в задачах на понимание физических процессов
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
2,4 тыс.
Лайков
62

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Eureka-Lab/PHYBench")