Датасет · LLaVA-VL
Мультимодальные инструкции для ИИ-агентов с инструментами
LLaVA-VL/llava-plus-data
117 тысяч синтетических мультимодальных диалогов и инструкций для обучения визуальных агентов работе с инструментами.
Что внутри
Датасет LLaVA-Plus-v1-117K включает от 100 тысяч до 1 миллиона примеров (около 117 тысяч) для визуального и текстового question-answering на английском языке. Данные сгенерированы в сентябре 2023 года с помощью API ChatGPT и GPT-4-0314 для проекта LLaVA-Plus.
Что можно сделать
- Обучение мультимодальных агентов, умеющих вызывать внешние инструменты
- SFT-дообучение визуально-языковых моделей (VLM) на следование инструкциям
- Тестирование моделей в задачах visual question-answering с использованием тулов
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 88
- Лайков
- 36
Как загрузить
from datasets import load_dataset
ds = load_dataset("LLaVA-VL/llava-plus-data")