К содержимому

Датасет · RekaAI

Бенчмарк Vibe-Eval для оценки мультимодальных чат-моделей

RekaAI/VibeEval

Компактный набор сложных визуально-текстовых задач с эталонными ответами на четырёх языках.

Что внутри

В датасете меньше 1000 примеров для проверки мультимодальных моделей, способных вести диалог по изображениям. Каждый пример включает картинку, промпт пользователя, эталонный ответ и метку сложности (обычный или повышенный уровень). Данные охватывают английский, польский, китайский и японский языки и включают особенно трудные кейсы.

Что можно сделать

  • Оценка качества ответов мультимодальных чат-моделей на сложных визуальных вопросах
  • Сравнение VLM-моделей на мультиязычных задачах с опорой на эталонные ответы
Задачи
Картинка → текст, Классификация картинок
Языки
Английский, Польский, Китайский, Японский
Размер
до 1K записей
Скачиваний за месяц
1,9 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("RekaAI/VibeEval")