Датасет · jonathan-roberts1
ZeroBench: сложный визуальный бенчмарк для мультимодальных LLM
jonathan-roberts1/zerobench
Набор из менее чем 1000 сложных мультимодальных вопросов с изображениями для проверки пределов современных моделей.
Что внутри
ZeroBench — специализированный бенчмарк для задач вида «изображение и текст в текст» (image-text-to-text), позиционируемый как экстремально сложный для современных больших мультимодальных моделей. Датасет содержит менее 1000 примеров, разделенных на основные вопросы и подвопросы, а в основной ветке доступна обновленная третья версия (v3).
Что можно сделать
- Тестирование мультимодальных моделей (VLM) на сложных задачах визуального анализа и логики
- Сравнение передовых мультимодальных систем на вопросах, где базовые бенчмарки уже насыщены
- Задачи
- Картинка + текст
- Размер
- до 1K записей
- Скачиваний за месяц
- 49,6 тыс.
- Лайков
- 37
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("jonathan-roberts1/zerobench")