Датасет · nebius
Бенчмарк задач программирования на 13 редких языках
nebius/Longtail-SWE
471 реальная задача с GitHub для оценки ИИ-агентов в написании программных патчей на менее популярных языках.
Что внутри
Внутри собрана 471 реальная задача по разработке ПО на английском языке, основанная на GitHub issues и связанных с ними pull requests. Датасет охватывает 13 языков программирования: Clojure, Dart, Elixir, Erlang, F#, Haskell, Julia, Kotlin, Lua, OCaml, R, Scala и Swift. Агенту даётся описание проблемы и репозиторий на базовом коммите, а итоговый патч проверяется на прохождение тестов.
Что можно сделать
- Оценка ИИ-агентов для программирования на редких языках
- Сравнение моделей генерации кода за пределами Python и JS
- Тестирование систем автоматического исправления багов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("nebius/Longtail-SWE")