Датасет · Eureka-Lab
Бенчмарк физического восприятия и рассуждений для LLM
Eureka-Lab/PHYBench
Набор текстовых задач на английском языке для оценки понимания физики большими языковыми моделями.
Что внутри
Внутри находятся текстовые задачи для проверки восприятия и логических рассуждений в области физики на английском языке. Объём датасета составляет от 1 000 до 10 000 записей. Авторы также выпустили код метрики EED Score для оценки качества ответов и ведут таблицу лидеров.
Что можно сделать
- Оценка способности LLM решать физические задачи и проводить рассуждения
- Сравнение моделей между собой с помощью метрики EED Score
- Анализ ошибок языковых моделей в задачах на понимание физических процессов
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,4 тыс.
- Лайков
- 62
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Eureka-Lab/PHYBench")