Датасет · jat-project
Мультимодальные данные для общего агента
jat-project/jat-dataset
Смесь экспертных RL-демонстраций, пар изображение-подпись и текстов для обучения мультимодального агента.
Что внутри
Датасет объединяет множество отдельных наборов: демонстрации экспертных RL-агентов, пары изображений с подписями, текстовые данные и другое. Это часть проекта JAT по созданию мультимодального агента общего назначения. В метаданных также указаны временные ряды. Общий размер — от 100 млн до 1 млрд примеров.
Что можно сделать
- Обучить мультимодального агента с обучением с подкреплением
- Дообучить VLM на парах изображение-текст
- Проверить QA и генерацию текста
- Задачи
- Обучение с подкреплением, Генерация текста, Вопрос-ответ
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 196 тыс.
- Лайков
- 87
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("jat-project/jat-dataset")