qwen3-4b-finops-lora-week1
FinOps-адаптер для аудита GPU и vLLM
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для компактной языковой модели Qwen/Qwen3-4B от автора imhlg, созданная в рамках спринта Applied AI Foundry (v4.0). Адаптер учит нейросеть формировать структурированные диагностические отчёты в формате [FINOPS_AUDIT_REPORT] для оценки ресурсов GPU, поиска узких мест KV-cache (кэша внимания при генерации) и оптимизации развёртывания через движок vLLM. От аналогов релиз отличается подробным спектральным SVD-разбором (анализом сингулярных значений) как базовых весов, так и самого обновления адаптера. Разработка пригодится MLOps-инженерам и архитекторам инфраструктуры, настраивающим локальный или облачный инференс LLM.
Ключевые особенности
- Обучена как PEFT LoRA с рангом r=8 и параметром alpha=16 поверх базовой модели Qwen/Qwen3-4B.
- Настроена на генерацию детерминированной диагностики
[FINOPS_AUDIT_REPORT]для задач FinOps в области ИИ. - В карточке приведена подробная SVD-телеметрия 18-го слоя для всех проекций внимания (q, k, v, o) и блоков MLP (gate, up, down).
- Обучение проведено на Apple M4 (24 ГБ объединённой памяти) в формате bfloat16 с использованием transformers v5, peft и trl.SFTTrainer.
Что можно сделать
- Подключить адаптер к Qwen/Qwen3-4B для автоматизированного аудита требований к видеопамяти и подбора конфигурации GPU под инференс.
- Использовать в MLOps-пайплайнах для выявления узких мест KV-cache и поиска путей оптимизации сервинга моделей на базе vLLM.
- Изучить опубликованные в карточке метрики SVD-спектра и нормы Фробениуса как практический пример анализа обновления весов при SFT-дообучении.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_id = "Qwen/Qwen3-4B"
adapter_id = "imhlg/qwen3-4b-finops-lora-week1"
tokenizer = AutoTokenizer.from_pretrained(base_id)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base_id, dtype=torch.bfloat16, device_map="auto"), adapter_id)
Подробнее
Обучение: 15 шагов SFT, снижение функции потерь (SFT Loss) с 3.8433 до 2.0771.Железо обучения: Apple M4 с 24 ГБ Unified Memory (PyTorch mps, bfloat16).
Относительное изменение весов на 18-м слое составляет от 0.1526% (mlp.down_proj) до 0.2779% (self_attn.k_proj).
Бенчмарки качества генерации и системные промпты в карточке не опубликованы.










Комментарии