Датасет · MiniMaxAI
Бенчмарк VIBE для разработки приложений
MiniMaxAI/VIBE
Бенчмарк для оценки LLM в full-stack разработке через парадигму Agent-as-a-Verifier.
Что внутри
VIBE — визуальный и интерактивный бенчмарк для проверки выполнения задач в разработке приложений. Он оценивает LLM в full-stack software engineering и использует парадигму Agent-as-a-Verifier вместо статических скриншотов или жёстких снимков рабочих процессов. Язык — английский; размер — менее 1K примеров.
Что можно сделать
- Оценить LLM на full-stack разработке приложений
- Проверить агентные системы в сценариях 0-to-1
- Сравнить модели по интерактивному бенчмарку
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 341
- Лайков
- 288
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MiniMaxAI/VIBE")