К содержимому

Датасет · nahco318

Диагностический бенчмарк для оценки VLM-судей

nahco318/Towards-Reliable-VLM-Judges

Сцены из симуляторов, ответы моделей и пошаговые оценки для проверки надежности мультимодальных моделей в роли судей.

Что внутри

Датасет к научной статье о надежности мультимодальных языковых моделей (VLM) при оценке других моделей. Содержит отрендеренные наблюдения из симуляторов MiniGrid, MiniWorld и Habitat-Sim/HSSD, ответы моделей и оценки по каждому вопросу на английском языке. Общий объем составляет от 1 000 до 10 000 записей, объединяющих изображения, таблицы и текст.

Что можно сделать

  • Оценка и диагностика VLM-моделей, используемых как автоматические судьи (LLM/VLM-as-a-Judge)
  • Проверка устойчивости мультимодальных моделей к изменению подачи визуальной информации
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
5,7 тыс.
Лайков
2

Как загрузить

from datasets import load_dataset

ds = load_dataset("nahco318/Towards-Reliable-VLM-Judges")