Языковые моделиadyaanahmed
distil-50m
крошечная LLM, дистиллированная из Qwen2.5-0.5B
1 мин чтенияобновлено
Это decoder-only LLM на 51,5 млн параметров, обученная с нуля через knowledge distillation от Qwen2.5-0.5B. Автор — adyaanahmed; модель задумана как исследовательский проект: она держит стиль ответа, но часто выдумывает факты. Обучение заняло 66,2 GPU-часа на двух Tesla T4 из бесплатного тарифа Kaggle.
👀 Ключевые особенности
- 🤖 18 слоёв, d_model 512, grouped-query attention 8/2, SwiGLU, RoPE и RMSNorm.
- 💯 51,5M параметров, 99 MB в fp16, контекст 512 токенов.
- 🔥 Дистилляция на ~1,02 млрд токенов: Cosmopedia v2 и FineWeb-Edu, затем SFT на 150 тыс. первых реплик smol-smoltalk.
- 🚀 KV-cache 9 KB на токен и около 0,1 GFLOPs на сгенерированный токен.
- ⛔ Только английский, один ход, без надёжных фактов и арифметики.
🚀 Пример
pip install torch safetensors tokenizers
huggingface-cli download adyaanahmed/distil-50m --local-dir distil-50m
cd distil-50m
python chat_local.pyПодробнее
Held-out bits per byte: 0,666 на Cosmopedia против 0,572 у учителя; ARC-Easy — 45,1 у базовой модели.Обучение: 66,2 GPU-часа на 2×Tesla T4; вес в fp16 — 99 MB.
Ограничения: английский, 512 токенов, один ход, часто выдумывает факты и не умеет считать.
Комментарии