Датасет · maghzal
Бенчмарк оценки планирования маршрутов для VLM
maghzal/PathEval
Набор данных для проверки способности мультимодальных моделей (VLM) оценивать качество планов и маршрутов.
Что внутри
В датасете собрано от 10 000 до 100 000 примеров с изображениями и текстом, предназначенных для оценки vision-language моделей в роли критика или оценщика планов. Набор создан для исследования того, могут ли большие языковые и мультимодальные модели эффективно проверять готовые маршруты, даже если сами плохо справляются со сквозным планированием.
Что можно сделать
- Оценка и сравнение VLM в задаче верификации и критики планов (plan evaluation)
- Тестирование мультимодальных моделей для навигации и пространственного рассуждения
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 27,4 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("maghzal/PathEval")