Датасет · HuggingFaceM4
Гигантская коллекция картинок и диалогов для VLM
HuggingFaceM4/FineVisionMax
24,3 млн перемешанных примеров с изображениями и текстом на английском и китайском языках для обучения мультимодальных моделей.
Что внутри
Внутри собрано 17,3 млн изображений, 24,3 млн примеров и 88,9 млн реплик на английском и китайском языках (всего 9,5 млрд токенов в ответах). Это объединённая и перемешанная версия оригинального датасета FineVision от команды HuggingFaceM4, подготовленная специально для удобной потоковой загрузки (streaming). Данные предназначены для задачи image-text-to-text.
Что можно сделать
- Предобучение и дообучение открытых Vision-Language моделей (VLM)
- Потоковое обучение (streaming) мультимодальных нейросетей без скачивания всего корпуса на диск
- Задачи
- Картинка + текст
- Языки
- Английский, Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 287,4 тыс.
- Лайков
- 48
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceM4/FineVisionMax")