К содержимому

Датасет · SakanaAI

Бенчмарк олимпиадного программирования от Sakana AI и AtCoder

SakanaAI/ALE-Bench

Официальный набор задач с контестов AtCoder для оценки ИИ-систем в алгоритмическом программировании с баллами.

Что внутри

Бенчмарк разработан Sakana AI на основе официальных материалов японской платформы AtCoder Inc. Внутри содержится менее тысячи задач с текстами и изображениями на английском и японском языках, предназначенных для оценки систем с помощью специального Python-инструментария. К набору прилагаются научная статья, код на GitHub и таблица лидеров.

Что можно сделать

  • Оценка способностей LLM и агентов решать сложные оптимизационные задачи по программированию
  • Исследования в области reinforcement learning для генерации и улучшения алгоритмического кода
Задачи
Картинка + текст, Обучение с подкреплением, Генерация текста, Вопросы по картинкам
Языки
Английский, Японский
Размер
до 1K записей
Скачиваний за месяц
20 тыс.
Лайков
13

Как загрузить

from datasets import load_dataset

ds = load_dataset("SakanaAI/ALE-Bench")