SmolLM2-135M-Instruct-lora-sft

Это merged-веса SmolLM2-135M-Instruct, дообученные через MLX LoRA Studio на датасете mlx-community/JOSIE-v2-Instruct-5K. Размер — около 0,13 млрд параметров, режим SFT с LoRA; обучение шло 1 эпоху на Apple Silicon через mlx-lm-lora.

🧩 Ключевые о��обенности

• ⚡ Всего 135M параметров — вариант для лёгкого локального инференса.
• 🧬 LoRA rank 8, scale 20, dropout 0; адаптер слит с базовой моделью (mergedWeights).
• ⚙ SFT на JOSIE-v2-Instruct-5K, оптимизатор AdamW, learning rate 1e-5, batch size 1.
• 💡 Контекст до 4096 токенов, grad checkpointing включён.
• 🔬 Финальный train loss — 0.0320 (минимум 0.0110), пиковая память — 3.10 GB.

💡 Пример

Пример запроса для проверки instruct-поведения: Объясни в двух предложениях, что такое LoRA и зачем нужен низкий rank.

Подробнее

Бенчмарк GMS8K: 1.4 у базовой модели (5-shot) и 2.6 у этого варианта (1-shot).
Обучение: 1 эпоха, max seq length 4096, 5090 шагов, около 12,2 млн обученных токенов.
Пиковая память — 3.10 GB; квантование не применялось.
Ограничения: это очень маленькая модель на 135M параметров, карточка не приводит других замеров качества.