Датасет · TuringEnterprises
Проверяемые STEM-задачи Open-RL
TuringEnterprises/Open-RL
Небольшой набор однозначных STEM-задач с проверяемыми ответами для оценки рассуждений LLM.
Что внутри
Датасет содержит англоязычные задачи по физике, математике, биологии и химии. Каждая задача самодостаточна, требует многошагового рассуждения и/или вычислений и имеет детерминированный проверяемый ответ. Задачи проверяли на современных больших языковых моделях; по карточке, они нетривиальны, но решаемы. Размер — менее 1 тыс. примеров.
Что можно сделать
- Оценка reasoning-моделей на STEM-задачах
- RL и верификация ответов
- Few-shot проверка математических и научных задач
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 409
- Лайков
- 192
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("TuringEnterprises/Open-RL")