FineVision
масштабный датасет для обучения мультимодальных моделей
1 мин чтения
FineVision — это гигантская коллекция данных, созданная для обучения передовых открытых Vision-Language-Models (VLM, мультимодальные модели, понимающие изображения и текст). Датасет содержит 17.3 миллиона изображений, 24.3 миллиона сэмплов, 88.9 миллиона диалоговых ходов и 9.5 миллиарда токенов ответов. Внутри собраны разнообразные структурированные данные с оценками релевантности и визуальной зависимости. Набор данных отлично подойдет исследователям и разработчикам для тренировки и бенчмаркинга мультимодального ИИ.
Ключевые особенности
- Огромный масштаб: 17.3M картинок и 9.5B токенов для глубокого обучения.
- Многоуровневые диалоги: 88.9M текстовых ходов, включая подробные описания и логические вопросы по изображениям.
- Качественная разметка: наличие метрик соответствия изображений и текстовых данных (image_correspondence_ratings).
- Открытая лицензия: материалы промптов распространяются под лицензией CC-BY-4.0.
Что можно сделать
- Обучить с нуля или дообучить открытые Vision-Language-Models для продвинутого визуального анализа.
- Протестировать мультимодальные способности языковых моделей на сложных научных и бытовых датасетах.
- Исследовать влияние качественных визуальных датасетов на генерацию ответов ИИ.
Пример
Загрузка датасета для обучения и анализа с помощью библиотеки datasets:
from datasets import load_dataset, get_dataset_config_names
# Получаем список подмножеств и загружаем первое
available_subsets = get_dataset_config_names('HuggingFaceM4/FineVision')
ds = load_dataset('HuggingFaceM4/FineVision', name=available_subsets[0], split='train', streaming=True)
# Проверяем первый пример
print(ds[0])Подробнее
Объем: 17.3M картинок, 24.3M сэмплов, 88.9M ходов, 9.5B токеновАвторы: Luis Wiedmann, Orr Zohar, Amir Mahla и другие (HuggingFaceM4)
Лицензия: CC-BY-4.0 для промптов, исходные поддатасеты регулируются собственными условиями
Статья: arXiv:2510.17269








Комментарии