mom-lab-qwen3-4b-adapters
набор LoRA-адаптеров для парсинга METAR и медвычислений
3 мин чтенияобновлено
Это набор из шести LoRA-адаптеров (небольших надстроек поверх базовой модели) от исследователя RonanLabs для компактной LLM Qwen/Qwen3-4B. По три адаптера с разными сидами обучены на две узкие задачи: перевод авиационных метеосводок METAR в структурированный JSON из 14 полей и решение медицинских калькуляторов из бенчмарка MedCalc-Bench v1.2. Главная ценность релиза — честное сравнение: на строгом форматировании METAR лёгкий адаптер обошёл даже Qwen3-32B с режимом рассуждений и тратит в 6,5 раза меньше токенов, а вот в медицинских расчётах обучение проиграло обычному one-shot промпту. Материал пригодится разработчикам и исследователям, которые выбирают между файнтюном маленькой модели, промпт-инжинирингом и переходом на более тяжёлую LLM.
Ключевые особенности
- Сверхвысокая точность на METAR: в среднем 99,83% полного совпадения по всем 14 полям JSON против 89,6% у Qwen3-32B с thinking и JSON-схемой (XGrammar).
- Честный отрицательный результат на MedCalc: адаптер набирает 58,67%, уступая даже базовой Qwen3-4B с одним примером в промпте (65,18% без thinking и 77,33% с ним).
- Работа без режима рассуждений: все шесть адаптеров обучены и запускаются с параметром
enable_thinking=False, генерируя около 143 токенов на отчёт METAR. - Воспроизводимость и прозрачность: выложены по три независимых сида на каждую задачу, логи обучения, параметры и контрольные суммы.
Что можно сделать
- Парсить стандартные сводки METAR в JSON: подключить любой из чекпоинтов
metar/seed0–2к Qwen3-4B через PEFT или vLLM для быстрого извлечения структурированных данных из американских отчётов ASOS. - Изучать границы применимости LoRA: использовать веса и датасет
RonanLabs/mom-lab-metar-medcalcдля экспериментов, когда узкий файнтюн выигрывает у few-shot промптов, а когда уступает. - Деплоить несколько навыков на одной базе: загружать адаптеры динамически в vLLM поверх замороженной Qwen3-4B с флагом
--enable-lora.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
rev = "1cfa9a7208912126459214e8b04321603b3df60c"
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B", revision=rev)
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-4B", revision=rev, torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "RonanLabs/mom-lab-qwen3-4b-adapters", subfolder="metar/seed0")
ids = tok.apply_chat_template([{"role": "user", "content": PROMPT}], add_generation_prompt=True, enable_thinking=False, return_tensors="pt")Подробнее
Архитектура и обучение: LoRA rank 16, alpha 32, dropout 0 на все линейные слои (33,03 млн обучаемых параметров в fp32, около 132 МБ на адаптер), 2 эпохи, обучение на 1 GPU DGX Station.Бенчмарки (среднее по 3 сидам): METAR (n=1000) — 99,83% (база Qwen3-4B — 0,4%); MedCalc-Bench v1.2 (n=1100) — 58,67% (база — 25,8%); общий тест Pre-Flight (n=240) — 64,17% и 59,03% против 67,1% у базы.
Ограничения: узкая специализация ломает другие задачи; METAR обучен только на чистых отчётах США 2024 года без TAF и нестандартных групп — не для реальной авиации; MedCalc ошибается примерно в 4 из 10 случаев и не предназначен для медицины.
Лицензии: адаптеры
metar/* и база Qwen3-4B — Apache-2.0, адаптеры medcalc/* — CC BY-SA 4.0.









Комментарии