К содержимому

Датасет · HuggingFaceH4

Мультимодальные инструкции LLaVA для VSFT

HuggingFaceH4/llava-instruct-mix-vsft

Отформатированный корпус с изображениями и текстом для визуального SFT-обучения через TRL.

Что внутри

Внутри находятся пары из изображений и текстовых инструкций объёмом от 100 тысяч до 1 миллиона примеров. Это переформатированная версия набора llava-instruct-mix, подготовленная командой HuggingFaceH4. Данные адаптированы специально под визуальный SFT (VSFT) с использованием SFT Trainer из библиотеки TRL.

Что можно сделать

  • SFT-дообучение визуально-языковых моделей (VLM) на базе LLaVA
  • Тестирование пайплайнов мультимодального обучения в библиотеке TRL
Размер
100K–1M записей
Скачиваний за месяц
1,4 тыс.
Лайков
50

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceH4/llava-instruct-mix-vsft")