Датасет · jingyaogong
Двуязычные пары «картинка-текст» для претрейна и SFT
jingyaogong/minimind-v_dataset
Большой китайско-английский корпус на базе ALLaVA-4V для обучения и дообучения визуально-языковых моделей.
Что внутри
Внутри собраны изображения (природа, документы, графики, синтетика) с подробными описаниями и инструкциями на китайском и английском языках из наборов LAION и VFLAN. Данные разделены на два файла в формате parquet: ~1,27 млн записей для претрейна (по ~640 тыс. уникальных картинок) и ~2,9 млн для SFT (по ~650 тыс. уникальных картинок). Хотя в автоматических тегах указан размер меньше тысячи, в самой карточке описаны миллионные объемы.
Что можно сделать
- Первичное выравнивание визуальных и текстовых токенов (претрейн VLM)
- Инструктивный файнтюнинг (SFT) мультиязычных моделей для ответов по картинкам
- Обучение моделей распознаванию документов, графиков и диаграмм
- Задачи
- Вопросы по картинкам
- Языки
- Китайский, Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("jingyaogong/minimind-v_dataset")