SmolLM2-135M-Instruct-lora-sft
крошечная instruct-модель после LoRA SFT
1 min read
Это merged-веса SmolLM2-135M-Instruct, дообученные через MLX LoRA Studio на датасете mlx-community/JOSIE-v2-Instruct-5K. Размер — около 0,13 млрд параметров, режим SFT с LoRA; обучение шло 1 эпоху на Apple Silicon через mlx-lm-lora.
Ключевые о��обенности
- Всего 135M параметров — вариант для лёгкого локального инференса.
- LoRA rank 8, scale 20, dropout 0; адаптер слит с базовой моделью (mergedWeights).
- SFT на JOSIE-v2-Instruct-5K, оптимизатор AdamW, learning rate 1e-5, batch size 1.
- Контекст до 4096 токенов, grad checkpointing включён.
- Финальный train loss — 0.0320 (минимум 0.0110), пиковая память — 3.10 GB.
Пример
Пример запроса для проверки instruct-поведения: Объясни в двух предложениях, что такое LoRA и зачем нужен низкий rank.
Подробнее
Бенчмарк GMS8K: 1.4 у базовой модели (5-shot) и 2.6 у этого варианта (1-shot).Обучение: 1 эпоха, max seq length 4096, 5090 шагов, около 12,2 млн обученных токенов.
Пиковая память — 3.10 GB; квантование не применялось.
Ограничения: это очень маленькая модель на 135M параметров, карточка не приводит других замеров качества.










Comments