Датасет · SciCode1
Бенчмарк научных вычислений и программирования SciCode
SciCode1/SciCode
Набор задач по написанию научного кода, составленный учёными для проверки LLM.
Что внутри
Текстовый бенчмарк на английском языке в формате вопросов и ответов, представленный в работе SciCode. Задачи составлены самими учёными для проверки способности языковых моделей писать код для научных исследований. Размер набора составляет менее тысячи примеров.
Что можно сделать
- Оценка способности LLM генерировать корректный код для научных задач
- Сравнение рассуждающих и кодовых моделей на сложных исследовательских сценариях
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 41 тыс.
- Лайков
- 19
Как загрузить
from datasets import load_dataset
ds = load_dataset("SciCode1/SciCode")