Датасет · ByteDance
Мультиязычный VQA по тексту на изображениях (9 языков)
ByteDance/MTVQA
Пары «вопрос-ответ» к картинкам с текстом на девяти языках, включая русский, для оценки и обучения мультимодальных моделей.
Что внутри
Внутри находятся изображения с текстом и вопросы к ним, размеченные носителями языка по строгим правилам. Датасет охватывает 9 языков (включая русский, корейский, японский, немецкий, арабский и другие) и содержит от 1 до 10 тысяч примеров. Собрано командой ByteDance специально для задач visual-question-answering и image-to-text.
Что можно сделать
- Оценка качества мультимодальных LLM в распознавании и понимании текста на картинках (OCR + VQA)
- Дообучение vision-language моделей на мультиязычных сценах с текстом, в том числе на русском языке
- Задачи
- Вопросы по картинкам, Картинка → текст
- Языки
- Много языков, Арабский, Немецкий, Вьетнамский, Японский, Корейский, Французский, Русский и ещё 2
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,2 тыс.
- Лайков
- 41
Как загрузить
from datasets import load_dataset
ds = load_dataset("ByteDance/MTVQA")