Датасет · RekaAI
Бенчмарк Vibe-Eval для оценки мультимодальных чат-моделей
RekaAI/VibeEval
Компактный набор сложных визуально-текстовых задач с эталонными ответами на четырёх языках.
Что внутри
В датасете меньше 1000 примеров для проверки мультимодальных моделей, способных вести диалог по изображениям. Каждый пример включает картинку, промпт пользователя, эталонный ответ и метку сложности (обычный или повышенный уровень). Данные охватывают английский, польский, китайский и японский языки и включают особенно трудные кейсы.
Что можно сделать
- Оценка качества ответов мультимодальных чат-моделей на сложных визуальных вопросах
- Сравнение VLM-моделей на мультиязычных задачах с опорой на эталонные ответы
- Задачи
- Картинка → текст, Классификация картинок
- Языки
- Английский, Польский, Китайский, Японский
- Размер
- до 1K записей
- Скачиваний за месяц
- 1,9 тыс.
- Лайков
- 49
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("RekaAI/VibeEval")