Датасет · shhu2001
Очищенный бенчмарк научной кодогенерации
shhu2001/SciCode-Verified
Исправленная и проверенная вручную версия бенчмарка SciCode на 64 научные задачи по программированию.
Что внутри
Текстовый набор данных на английском языке, содержащий 64 основные задачи и 287 оцениваемых подзадач (всего менее 1000 записей). Авторы провели построчный аудит оригинального теста SciCode, нашли 263 дефекта и исправили все подтвержденные ошибки, исключив одну некорректную задачу.
Что можно сделать
- Честная оценка LLM в задачах написания научного кода
- Отладка и валидация систем генерации программного кода
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 44,1 тыс.
- Лайков
- 2
Как загрузить
from datasets import load_dataset
ds = load_dataset("shhu2001/SciCode-Verified")