qwen1.5b-masri-2-2ways

Это файнтюн базовой модели Qwen/Qwen2.5-1.5B-Instruct от автора rodinaahmed30, обученный на датасете masri_mt_train. Модель опубликована как PEFT-адаптер; размер базовой LLM — 1.5B параметров. Карточка сгенерирована автоматически, поэтому назначение и ограничения в ней пока не раскрыты.

✅ Ключевые особенности

• ✅ База — instruct-модель Qwen2.5-1.5B, обучение через PEFT.
• 🔥 Файнтюн на masri_mt_train: 2 эпохи, learning rate 0.0001.
• 📉 Validation loss на финале — 0.8119.
• 🦾 Обучение шло на 2 GPU с total train batch size 32 и gradient accumulation 4.
• 🤝 Это адаптер, а не самостоятельная модель: для запуска нужна базовая Qwen2.5-1.5B-Instruct.

😎 Пример

Готового кода или демо-промпта в карточке нет. Практичный сценарий — загрузить LoRA-адаптер поверх Qwen2.5-1.5B-Instruct и сравнить ответы с базовой моделью на коротких инструкциях в домене датасета masri_mt_train.

Подробнее

Финальный validation loss: 0.8119.
Гиперпараметры: 2 эпохи, lr 0.0001, cosine scheduler, warmup 0.05, mixed precision Native AMP.
Обучение: multi-GPU, 2 устройства, effective batch size 32.
Ограничения: описание модели, intended uses и данные в карточке помечены как «More information needed».