chivier/ryze-biovision-qwen3.8-27b-v6.2-fp32
специализированная мультимодальная модель для анализа научных иллюстраций
2 мин чтенияобновлено
Модель Ryze BioVision создана на базе Qwen/Qwen3.8-27B (27.78 млрд параметров) и обучена отвечать на вопросы с выбором из четырёх вариантов (A–D) по изображениям из биологических научных статей. Адаптер (LoRA — небольшая надстройка над базовой моделью) полностью слит с базовой моделью в формате FP32, поэтому она загружается как единое целое без дополнительных модулей. Модель нацелена на задачи вроде определения цветов, сравнения значений по общей оси, пространственных отношений и направлений трендов на графиках. Разработка ориентирована на автоматизацию проверки биологических схем и графиков из открытых источников PubMed Central.
Ключевые особенности
- Мультимодальный анализ: обработка графиков и иллюстраций из биологических исследований с разрешением до 1,048,576 пикселей.
- Выбор из четырёх вариантов: выдает строго одну заглавную букву (A, B, C или D) в ответ на заданный вопрос.
- Узкая специализация: обучена на датасете из биологических статей PubMed Central (охватывает цвета, оси, пространственные связи и тренды).
- Формат FP32: веса полностью объединены со всеми слоями, размер модели составляет около 102.7 ГБ.
Что можно сделать
- Анализ графиков: тестировать модель на распознавание трендов, сравнение значений и сопоставление элементов на схемах из биологических пабликаций.
- Интеграция в пайплайны: использовать в скриптах на Python с библиотекой
transformersдля автоматизированного разбора научных иллюстраций. - Тестирование точности: проверять совпадение ответов модели с эталонными размеченными данными по тестовым подмножествам из карточки.
Пример
import torch
from PIL import Image
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "chivier/ryze-biovision-qwen3.8-27b-v6.2-fp32"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
model_id,
dtype=torch.float32,
device_map="auto",
max_memory={0: "60GiB", "cpu": "45GiB"},
offload_folder="./offload",
)
model.eval()Подробнее
Точность на отложенном тесте (383 вопроса): 98.17% (у базовой модели — 94.26%).Требования к железу: FP32 не помещается целиком на GPU объемом 96 ГБ, требуется офлоадинг на CPU и диск.
Ограничения: выдает только буквы A–D даже при нечитаемой картинке; не предназначена для клинического или диагностического применения.
Обучение: 1 эпоха SFT на архитектуре Qwen3_5ForConditionalGeneration с замороженным vision-тоуэром.










Комментарии