К содержимому

Датасет · maghzal

Бенчмарк оценки планирования маршрутов для VLM

maghzal/PathEval

Набор данных для проверки способности мультимодальных моделей (VLM) оценивать качество планов и маршрутов.

Что внутри

В датасете собрано от 10 000 до 100 000 примеров с изображениями и текстом, предназначенных для оценки vision-language моделей в роли критика или оценщика планов. Набор создан для исследования того, могут ли большие языковые и мультимодальные модели эффективно проверять готовые маршруты, даже если сами плохо справляются со сквозным планированием.

Что можно сделать

  • Оценка и сравнение VLM в задаче верификации и критики планов (plan evaluation)
  • Тестирование мультимодальных моделей для навигации и пространственного рассуждения
Размер
10K–100K записей
Скачиваний за месяц
27,4 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("maghzal/PathEval")