Arxo-Materia-0.8B-EHRSQL-0.1
компактный генератор SQL для медицинских баз
2 мин чтенияобновлено
Arxo-Materia-0.8B-EHRSQL-0.1 — это LoRA (небольшой адаптер поверх базовой модели) от команды arxohq на базе Qwen/Qwen3.5-0.8B, который переводит вопросы врачей на естественном языке в готовые SQL-запросы к больничной базе данных eICU. На выходе модель формирует один валидный запрос внутри тегов для поиска данных об анализах, назначениях, диагнозах, стоимости лечения и длительности госпитализации. Несмотря на скромный размер в 0.8B параметров, дообучение подняло точность выполнения запросов с 3.3% до 66.8%, позволив обойти на профильном бенчмарке MedHELM такие крупные модели общего назначения, как Claude Opus 5.5 и GPT-6.1 Sol. Инструмент пригодится исследователям в области медицинской информатики и разработчикам аналитических систем для работы с электронными медкартами.
Ключевые особенности
- Высокая точность при малом размере: набирает 66.8% execution accuracy на 1959 вопросах из EHRSQL (против 3.3% у базовой
Qwen3.5-0.8B) и опережает неспециализированные модели в таблице лидеров MedHELM. - Надёжный синтаксис: 99.6% сгенерированных моделью SQL-запросов выполняются в базе данных без синтаксических ошибок.
- Специфика подключения: адаптер загружается через класс
AutoModelForImageTextToText(а неAutoModelForCausalLM) и работает в режиме с отключённым рассуждением (enable_thinking=False). - Открытая лицензия: распространяется под лицензией Apache-2.0, как и базовая модель, а в линейке также доступна старшая версия на 4B параметров.
Что можно сделать
- Создать прототип ИИ-ассистента для аналитики медкарт: встроить связку
Qwen3.5-0.8B+ LoRA в локальный сервис для быстрого получения статистики по базе eICU без ручного написания SQL. - Сравнить компактные и большие модели в Text-to-SQL: использовать репозиторий для воспроизведения замеров на датасете EHRSQL и оценки эффективности узкоспециализированного дообучения.
- Запускать на скромном железе: благодаря размеру 0.8B и формату
bfloat16модель подходит для локальных экспериментов и инференса с минимальными затратами ресурсов.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
base = "Qwen/Qwen3.5-0.8B"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForImageTextToText.from_pretrained(base, dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "arxohq/Arxo-Materia-0.8B-EHRSQL-0.1")
Подробнее
Бенчмарк MedHELM (EHRSQL, 1959 вопросов): общая точность 66.8% (69.0% на validation, 65.4% на test) против 63.2% у Claude Opus 5.5 и 42.8% у GPT-6.1 Sol.Параметры генерации: жадное декодирование (
do_sample=False), лимит 1024 новых токена, режим thinking отключён.Ограничения: модель обучена только под схему eICU и вопросы EHRSQL, не проверялась на других БД, всегда генерирует запрос (не умеет отклонять вопросы без ответа в базе) и не предназначена для принятия клинических решений.










Комментарии