rnfl-qwen2.5-vl-3b-lora
ассистент для анализа карт сетчатки
2 min readupdated
Исследовательский LoRA-адаптер (небольшая надстройка над базовой моделью) для Qwen/Qwen2.5-VL-3B-Instruct от автора NabillahBee. Модель принимает карту толщины слоя нервных волокон сетчатки (RNFL, по данным ОКТ) вместе с блоком заранее вычисленных измерений и объясняет показатели простым языком. В отличие от базовой модели, адаптер приучен формировать структурированный отчёт из шести разделов и строго отказываться от постановки диагнозов или советов по лечению. Разработка пригодится исследователям в области медицинской визуализации для прототипирования интерфейсов объяснения снимков.
Ключевые особенности
- Опора на готовые расчёты: модель пересказывает и поясняет данные из переданного блока программных измерений, формируя структурированный отчёт из 6 секций.
- Строгие ограничения ответов: в тестах на шаблонных запросах модель в 100% случаев отказывается ставить диагноз, назначать лечение или делать неподтверждённые выводы.
- Поддержка диалога: обучена на 2 100 многоходовых диалогах с запоминанием контекста пользователя и ответами на вопросы по отдельным областям карты и глоссарию.
- Лёгкая архитектура: дообучена методом 4-bit QLoRA в LLaMA-Factory с замороженным визуальным энкодером (vision tower) и проектором.
Что можно сделать
- Прототипировать исследовательские ассистенты: встроить модель в связку с детерминированным кодом и автоматической проверкой чисел для генерации понятных пояснений к картам RNFL.
- Формировать шаблонные отчёты: использовать адаптер для автоматического составления шестисекционных описаний на основе переданных табличных метрик снимка.
- Изучать выравнивание VLM в медицине: применять весы как пример настройки мультимодальной модели на отказ от клинических рекомендаций в некоммерческих проектах.
Пример
import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
base = Qwen2_5_VLForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct", torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(base, "NabillahBee/rnfl-qwen2.5-vl-3b-lora")
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-3B-Instruct")
Подробнее
Бенчмарки (150 шаблонных реплик): полный отчёт из 6 секций — 100% (у базы 0%), отказ от диагноза — 100% (у базы 7%), неподтверждённые утверждения — 0% (у базы 7.3%).Классификация только по изображению слабая: AUC по глаукоме 0.65 против 0.80 у логистической регрессии по измерениям.
Обучение: датасет Harvard-GDP (split 700/150/150), LoRA rank 8, alpha 16, dropout 0.05, 2 эпохи (788 шагов) на Tesla T4 в fp16.
Ограничения: только для некоммерческих исследований; не является медизделием, нестабильна вне шаблонов обучения.










Comments