К содержимому

Датасет · ByteDance

Мультиязычный VQA по тексту на изображениях (9 языков)

ByteDance/MTVQA

Пары «вопрос-ответ» к картинкам с текстом на девяти языках, включая русский, для оценки и обучения мультимодальных моделей.

Что внутри

Внутри находятся изображения с текстом и вопросы к ним, размеченные носителями языка по строгим правилам. Датасет охватывает 9 языков (включая русский, корейский, японский, немецкий, арабский и другие) и содержит от 1 до 10 тысяч примеров. Собрано командой ByteDance специально для задач visual-question-answering и image-to-text.

Что можно сделать

  • Оценка качества мультимодальных LLM в распознавании и понимании текста на картинках (OCR + VQA)
  • Дообучение vision-language моделей на мультиязычных сценах с текстом, в том числе на русском языке
Задачи
Вопросы по картинкам, Картинка → текст
Языки
Много языков, Арабский, Немецкий, Вьетнамский, Японский, Корейский, Французский, Русский и ещё 2
Размер
1K–10K записей
Скачиваний за месяц
2,2 тыс.
Лайков
41

Как загрузить

from datasets import load_dataset

ds = load_dataset("ByteDance/MTVQA")