К содержимому

Датасет · nebius

Бенчмарк задач программирования на 13 редких языках

nebius/Longtail-SWE

471 реальная задача с GitHub для оценки ИИ-агентов в написании программных патчей на менее популярных языках.

Что внутри

Внутри собрана 471 реальная задача по разработке ПО на английском языке, основанная на GitHub issues и связанных с ними pull requests. Датасет охватывает 13 языков программирования: Clojure, Dart, Elixir, Erlang, F#, Haskell, Julia, Kotlin, Lua, OCaml, R, Scala и Swift. Агенту даётся описание проблемы и репозиторий на базовом коммите, а итоговый патч проверяется на прохождение тестов.

Что можно сделать

  • Оценка ИИ-агентов для программирования на редких языках
  • Сравнение моделей генерации кода за пределами Python и JS
  • Тестирование систем автоматического исправления багов
Задачи
Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
1,1 тыс.
Лайков
5

Как загрузить

from datasets import load_dataset

ds = load_dataset("nebius/Longtail-SWE")