К содержимому

Датасет · SWE-bench

Мультиязычный бенчмарк решения задач GitHub

SWE-bench/SWE-bench_Multilingual

300 реальных задач (Issue и Pull Request) на 9 языках программирования с проверкой юнит-тестами.

Что внутри

Расширение известного бенчмарка SWE-bench на 9 языков программирования, собранное из 41 популярного репозитория. Включает 300 тестовых пар Issue и Pull Request на английском языке. Качество решения проверяется автоматическим запуском юнит-тестов, где эталоном служит состояние кода после принятия PR.

Что можно сделать

  • Оценка автономных ИИ-агентов для написания и исправления кода на разных языках
  • Сравнение LLM в задачах программной инженерии по объективным юнит-тестам
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
41,4 тыс.
Лайков
32

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("SWE-bench/SWE-bench_Multilingual")