Spark1-14M
крошечная LLM, собранная редактированием весов
1 мин чтенияобновлено
Spark1-14M — английская decoder-only модель на 14,31 млн параметров в стиле Llama. Её не обучали: автор получил веса прямым редактированием и заявляет, что модель обходит Pythia-14M и Ettin-17M на всех проверенных бенчмарках. Контекст — 1024 токена, словарь — 8192 BPE.
Ключевые особенности
- 14,31M параметров, tied embeddings; hidden 288, 12 слоёв, 6 голов, GQA с 3 KV-головами.
- Словарь уменьшен с 50 304 до 8192: больше параметров остаётся трансформеру.
- Без обучения: pruning словаря, depth-scaled init, bias в SwiGLU, буст частых английских токенов и GQA 6→3.
- Заявлен обход Pythia-14M и Ettin-17M на всех 11 бенчмарках, суммарно 36,6% против 27,0% и 31,9%.
- Есть GGUF Q8_0 (15,2 МБ) и Q4_0 (8,1 МБ) для llama.cpp/ollama.
Пример
llama-cli -m Spark1-14M-Q8_0.gguf -p 'The man opened the door and' -n 50
Подробнее
Бенчмарки: ARC-Challenge 28,4%, HellaSwag 32,8%, PIQA 61,5%, LAMBADA 26,5%.Ограничения: только английский, контекст 1024, base-модель без instruction tuning; не для фактов и мультиязычности.
Формат: GGUF Q8_0 — точнее, Q4_0 — меньше; запуск через llama.cpp.










Комментарии