Визуальные инструкции и QA на английском

Что внутри

Датасет в модальностях image и text на английском, размером от 100 тыс. до 1 млн примеров. Собран по пайплайну ALLaVA-4V: GPT-4V генерировал подписи и сложные reasoning QA для LAION и Vision-FLAN, а ответы Wizard перегенерированы GPT-4-Turbo. В карточке описаны исходные источники и структура именования, но формат файлов не указан.

Что можно сделать

• Дообучение vision-language модели на парах изображение-текст
• SFT мультимодальной LoRA для вопросов по изображениям
• Проверка модели на сложных визуальных QA

Модели, обученные на нём

• Rayzl/qwen2.5-vl-7b-eagle3-sgl-en 212
• Geraldxm/Qwen2.5-VL-72B-Instruct-eagle3-sgl 157
• FreedomIntelligence/ALLaVA-3BГенерация текста 97
• Geraldxm/Qwen2.5-VL-7B-Instruct-eagle3-sgl 54
• FreedomIntelligence/ALLaVA-StableLM2-1_6BГенерация текста 49

Как загрузить

from datasets import load_dataset

ds = load_dataset("FreedomIntelligence/ALLaVA-4V")