Датасет · nahco318
Диагностический бенчмарк для оценки VLM-судей
nahco318/Towards-Reliable-VLM-Judges
Сцены из симуляторов, ответы моделей и пошаговые оценки для проверки надежности мультимодальных моделей в роли судей.
Что внутри
Датасет к научной статье о надежности мультимодальных языковых моделей (VLM) при оценке других моделей. Содержит отрендеренные наблюдения из симуляторов MiniGrid, MiniWorld и Habitat-Sim/HSSD, ответы моделей и оценки по каждому вопросу на английском языке. Общий объем составляет от 1 000 до 10 000 записей, объединяющих изображения, таблицы и текст.
Что можно сделать
- Оценка и диагностика VLM-моделей, используемых как автоматические судьи (LLM/VLM-as-a-Judge)
- Проверка устойчивости мультимодальных моделей к изменению подачи визуальной информации
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 5,7 тыс.
- Лайков
- 2
Как загрузить
from datasets import load_dataset
ds = load_dataset("nahco318/Towards-Reliable-VLM-Judges")