К содержимому

Датасет · jonathan-roberts1

ZeroBench: сложный визуальный бенчмарк для мультимодальных LLM

jonathan-roberts1/zerobench

Набор из менее чем 1000 сложных мультимодальных вопросов с изображениями для проверки пределов современных моделей.

Что внутри

ZeroBench — специализированный бенчмарк для задач вида «изображение и текст в текст» (image-text-to-text), позиционируемый как экстремально сложный для современных больших мультимодальных моделей. Датасет содержит менее 1000 примеров, разделенных на основные вопросы и подвопросы, а в основной ветке доступна обновленная третья версия (v3).

Что можно сделать

  • Тестирование мультимодальных моделей (VLM) на сложных задачах визуального анализа и логики
  • Сравнение передовых мультимодальных систем на вопросах, где базовые бенчмарки уже насыщены
Задачи
Картинка + текст
Размер
до 1K записей
Скачиваний за месяц
49,6 тыс.
Лайков
37
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("jonathan-roberts1/zerobench")