Датасет · SWE-bench
Мультиязычный бенчмарк решения задач GitHub
SWE-bench/SWE-bench_Multilingual
300 реальных задач (Issue и Pull Request) на 9 языках программирования с проверкой юнит-тестами.
Что внутри
Расширение известного бенчмарка SWE-bench на 9 языков программирования, собранное из 41 популярного репозитория. Включает 300 тестовых пар Issue и Pull Request на английском языке. Качество решения проверяется автоматическим запуском юнит-тестов, где эталоном служит состояние кода после принятия PR.
Что можно сделать
- Оценка автономных ИИ-агентов для написания и исправления кода на разных языках
- Сравнение LLM в задачах программной инженерии по объективным юнит-тестам
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 41,4 тыс.
- Лайков
- 32
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("SWE-bench/SWE-bench_Multilingual")