Датасет · SWE-bench
Бенчмарк решения реальных задач с GitHub на Python
SWE-bench/SWE-bench_Lite
Компактный набор из 300 реальных задач из репозиториев Python для оценки кодинговых агентов и языковых моделей.
Что внутри
Это облегчённая версия известного бенчмарка SWE-bench, содержащая ровно 300 тестовых пар из Issue и Pull Request. Все примеры взяты из 11 популярных открытых Python-репозиториев на GitHub и представлены в текстовом формате. Проверка правильности решения проводится автоматически с помощью запуска юнит-тестов.
Что можно сделать
- Оценка способности LLM и ИИ-агентов самостоятельно исправлять баги в коде
- Сравнение кодинговых моделей на стандартном воспроизводимом бенчмарке
- Размер
- до 1K записей
- Скачиваний за месяц
- 39,9 тыс.
- Лайков
- 35
Как загрузить
from datasets import load_dataset
ds = load_dataset("SWE-bench/SWE-bench_Lite")