К содержимому

Датасет · shhu2001

Очищенный бенчмарк научной кодогенерации

shhu2001/SciCode-Verified

Исправленная и проверенная вручную версия бенчмарка SciCode на 64 научные задачи по программированию.

Что внутри

Текстовый набор данных на английском языке, содержащий 64 основные задачи и 287 оцениваемых подзадач (всего менее 1000 записей). Авторы провели построчный аудит оригинального теста SciCode, нашли 263 дефекта и исправили все подтвержденные ошибки, исключив одну некорректную задачу.

Что можно сделать

  • Честная оценка LLM в задачах написания научного кода
  • Отладка и валидация систем генерации программного кода
Задачи
Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
44,1 тыс.
Лайков
2

Как загрузить

from datasets import load_dataset

ds = load_dataset("shhu2001/SciCode-Verified")