Датасет · CohereLabs
Мультиязычный визуальный бенчмарк от Cohere
CohereLabs/AyaVisionBench
Тестовый набор из пар «картинка-вопрос» на 23 языках для оценки мультиязычных vision-language моделей.
Что внутри
Бенчмарк от CohereLabs содержит от 1 до 10 тысяч примеров (по 135 пар «изображение — вопрос» на каждый из 23 языков в 9 категориях задач). В метаданных указаны английский, французский, немецкий, испанский, итальянский и португальский языки. Для ответа на каждый вопрос модели необходимо анализировать саму картинку.
Что можно сделать
- Тестирование мультиязычных визуально-языковых моделей (VLM) в реальных сценариях
- Сравнение качества визуального понимания модели на разных языках
- Языки
- Английский, Французский, Немецкий, Испанский, Итальянский, Португальский, Японский, Корейский и ещё 4
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 805
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/AyaVisionBench")