К содержимому

Датасет · SciCode1

Бенчмарк научных вычислений и программирования SciCode

SciCode1/SciCode

Набор задач по написанию научного кода, составленный учёными для проверки LLM.

Что внутри

Текстовый бенчмарк на английском языке в формате вопросов и ответов, представленный в работе SciCode. Задачи составлены самими учёными для проверки способности языковых моделей писать код для научных исследований. Размер набора составляет менее тысячи примеров.

Что можно сделать

  • Оценка способности LLM генерировать корректный код для научных задач
  • Сравнение рассуждающих и кодовых моделей на сложных исследовательских сценариях
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
41 тыс.
Лайков
19

Как загрузить

from datasets import load_dataset

ds = load_dataset("SciCode1/SciCode")