К содержимому

Датасет · jingyaogong

Двуязычные пары «картинка-текст» для претрейна и SFT

jingyaogong/minimind-v_dataset

Большой китайско-английский корпус на базе ALLaVA-4V для обучения и дообучения визуально-языковых моделей.

Что внутри

Внутри собраны изображения (природа, документы, графики, синтетика) с подробными описаниями и инструкциями на китайском и английском языках из наборов LAION и VFLAN. Данные разделены на два файла в формате parquet: ~1,27 млн записей для претрейна (по ~640 тыс. уникальных картинок) и ~2,9 млн для SFT (по ~650 тыс. уникальных картинок). Хотя в автоматических тегах указан размер меньше тысячи, в самой карточке описаны миллионные объемы.

Что можно сделать

  • Первичное выравнивание визуальных и текстовых токенов (претрейн VLM)
  • Инструктивный файнтюнинг (SFT) мультиязычных моделей для ответов по картинкам
  • Обучение моделей распознаванию документов, графиков и диаграмм
Задачи
Вопросы по картинкам
Языки
Китайский, Английский
Размер
до 1K записей
Скачиваний за месяц
1,2 тыс.
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("jingyaogong/minimind-v_dataset")