К содержимому

Датасет · HuggingFaceM4

Гигантская коллекция картинок и диалогов для VLM

HuggingFaceM4/FineVisionMax

24,3 млн перемешанных примеров с изображениями и текстом на английском и китайском языках для обучения мультимодальных моделей.

Что внутри

Внутри собрано 17,3 млн изображений, 24,3 млн примеров и 88,9 млн реплик на английском и китайском языках (всего 9,5 млрд токенов в ответах). Это объединённая и перемешанная версия оригинального датасета FineVision от команды HuggingFaceM4, подготовленная специально для удобной потоковой загрузки (streaming). Данные предназначены для задачи image-text-to-text.

Что можно сделать

  • Предобучение и дообучение открытых Vision-Language моделей (VLM)
  • Потоковое обучение (streaming) мультимодальных нейросетей без скачивания всего корпуса на диск
Задачи
Картинка + текст
Языки
Английский, Китайский
Размер
10M–100M записей
Скачиваний за месяц
287,4 тыс.
Лайков
48

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceM4/FineVisionMax")