Датасет · SakanaAI
Бенчмарк олимпиадного программирования от Sakana AI и AtCoder
SakanaAI/ALE-Bench
Официальный набор задач с контестов AtCoder для оценки ИИ-систем в алгоритмическом программировании с баллами.
Что внутри
Бенчмарк разработан Sakana AI на основе официальных материалов японской платформы AtCoder Inc. Внутри содержится менее тысячи задач с текстами и изображениями на английском и японском языках, предназначенных для оценки систем с помощью специального Python-инструментария. К набору прилагаются научная статья, код на GitHub и таблица лидеров.
Что можно сделать
- Оценка способностей LLM и агентов решать сложные оптимизационные задачи по программированию
- Исследования в области reinforcement learning для генерации и улучшения алгоритмического кода
- Задачи
- Картинка + текст, Обучение с подкреплением, Генерация текста, Вопросы по картинкам
- Языки
- Английский, Японский
- Размер
- до 1K записей
- Скачиваний за месяц
- 20 тыс.
- Лайков
- 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("SakanaAI/ALE-Bench")