К содержимому

Датасет · SWE-bench

Бенчмарк решения реальных задач с GitHub на Python

SWE-bench/SWE-bench_Lite

Компактный набор из 300 реальных задач из репозиториев Python для оценки кодинговых агентов и языковых моделей.

Что внутри

Это облегчённая версия известного бенчмарка SWE-bench, содержащая ровно 300 тестовых пар из Issue и Pull Request. Все примеры взяты из 11 популярных открытых Python-репозиториев на GitHub и представлены в текстовом формате. Проверка правильности решения проводится автоматически с помощью запуска юнит-тестов.

Что можно сделать

  • Оценка способности LLM и ИИ-агентов самостоятельно исправлять баги в коде
  • Сравнение кодинговых моделей на стандартном воспроизводимом бенчмарке
Размер
до 1K записей
Скачиваний за месяц
39,9 тыс.
Лайков
35

Как загрузить

from datasets import load_dataset

ds = load_dataset("SWE-bench/SWE-bench_Lite")