Медицинский VQA по статьям PubMed

Что внутри

PubMedVision — крупномасштабный медицинский VQA-датасет. Пары изображение-текст извлечены из PubMed и переформатированы с помощью GPT-4V для повышения качества. Добавлены оригинальные подписи, китайская версия и аннотации body_part и modality. Основной язык — английский, размер по метаданным — от 1 до 10 млн примеров.

Что можно сделать

• Обучение медицинских мультимодальных VQA-моделей
• Дообучение LoRA для ответов на вопросы по медицинским изображениям
• Проверка моделей на медицинских изображениях и текстах

Модели, обученные на нём

• FreedomIntelligence/HuatuoGPT-Vision-7B-Qwen2.5VLГенерация текста 2,9 тыс.
• FreedomIntelligence/HuatuoGPT-Vision-7BГенерация текста 465
• FreedomIntelligence/HuatuoGPT-Vision-7B-hfГенерация текста 307
• FreedomIntelligence/HuatuoGPT-Vision-34BКартинка + текст 151
• tensorblock/FreedomIntelligence_HuatuoGPT-Vision-7B-Qwen2.5VL-GGUF

Как загрузить

from datasets import load_dataset

ds = load_dataset("FreedomIntelligence/PubMedVision")