CardioLLM
ЭКГ и vision-энкодеры в одной LLM
1 мин чтенияобновлено
CardioLLM — мультимодальная LLM на архитектуре LLaVA/Llama размером 7,15 млрд параметров. В карточке описана загрузка чекпоинта с Hugging Face вместе с отдельным энкодером ECG-CoCa и vision-энкодером. Судя по компонентам, модель рассчитана на работу с ЭКГ-данными и изображениями, но конкретные сценарии в README не расписаны.
Ключевые особенности
- Архитектура
llava_llama: языковая модель Llama плюс ECG- и vision-энкодеры. - 7,15 млрд параметров.
- Чекпоинт ECG-CoCa скачивается отдельно, путь подставляется в
config.mm_ecg_tower. - Загрузка через
transformersиllavaс проверками missing/unexpected/unloaded параметров. - На CUDA пример использует
float16, на CPU —float32.
Пример
import torch
from transformers import AutoTokenizer
from llava.model.language_model.llava_llama import LlavaConfig, LlavaLlamaForCausalLM
MODEL_ID = "klyang/CardioLLM"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=False)
config = LlavaConfig.from_pretrained(MODEL_ID)
config.mm_ecg_tower = "checkpoints/cpt_wfep_epoch_20.pt"
model = LlavaLlamaForCausalLM.from_pretrained(MODEL_ID, config=config, torch_dtype=torch.float16, device_map={"": "cuda:0"})Подробнее
Бенчмарков в карточке нет.Размер: 7,15 млрд параметров.
Нужен отдельный чекпоинт ECG-CoCa; без него ECG-энкодер не загрузится.
На CUDA пример использует float16, на CPU — float32.










Комментарии