К содержимому

Датасет · CohereLabs

Мультиязычный визуальный бенчмарк от Cohere

CohereLabs/AyaVisionBench

Тестовый набор из пар «картинка-вопрос» на 23 языках для оценки мультиязычных vision-language моделей.

Что внутри

Бенчмарк от CohereLabs содержит от 1 до 10 тысяч примеров (по 135 пар «изображение — вопрос» на каждый из 23 языков в 9 категориях задач). В метаданных указаны английский, французский, немецкий, испанский, итальянский и португальский языки. Для ответа на каждый вопрос модели необходимо анализировать саму картинку.

Что можно сделать

  • Тестирование мультиязычных визуально-языковых моделей (VLM) в реальных сценариях
  • Сравнение качества визуального понимания модели на разных языках
Языки
Английский, Французский, Немецкий, Испанский, Итальянский, Португальский, Японский, Корейский и ещё 4
Размер
1K–10K записей
Скачиваний за месяц
805
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("CohereLabs/AyaVisionBench")