К содержимому

Датасет · LLaVA-VL

Мультимодальные инструкции для ИИ-агентов с инструментами

LLaVA-VL/llava-plus-data

117 тысяч синтетических мультимодальных диалогов и инструкций для обучения визуальных агентов работе с инструментами.

Что внутри

Датасет LLaVA-Plus-v1-117K включает от 100 тысяч до 1 миллиона примеров (около 117 тысяч) для визуального и текстового question-answering на английском языке. Данные сгенерированы в сентябре 2023 года с помощью API ChatGPT и GPT-4-0314 для проекта LLaVA-Plus.

Что можно сделать

  • Обучение мультимодальных агентов, умеющих вызывать внешние инструменты
  • SFT-дообучение визуально-языковых моделей (VLM) на следование инструкциям
  • Тестирование моделей в задачах visual question-answering с использованием тулов
Задачи
Вопросы по картинкам, Вопрос-ответ
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
88
Лайков
36

Как загрузить

from datasets import load_dataset

ds = load_dataset("LLaVA-VL/llava-plus-data")