SLM-Tavenel 124M

Экспериментальная языковая модель на 124M параметров от athenista для английского и французского. Это decoder-only transformer на 27 слоёв, шириной 576, с GQA (9 query / 3 key-value heads) и SwiGLU; контекст — 2 048 токенов. Не instruction-tuned и не чат-ассистент: это базовая модель для исследований и сравнений с GPT-2 Small.

⚙ Ключевые особенности

• 🧬 Обучена с нуля на 983M токенов из FineWeb-Edu (EN) и FineWeb2-HQ (FR).
• ⚙ Оптимизаторы Muon для блочных матриц и AdamW для эмбеддингов и норм.
• 🔬 Токенизатор SmolLM2 byte-level BPE, 49 152 токена; входные и выходные эмбеддинги связаны.
• 💡 Полный training record: манифесты, хэши данных, observability-метрики по слоям.
• 🪨 Веса float32, квантованных версий нет; лицензия MIT.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "athenista/slm-tavenel-124m"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tokenizer("La recherche scientifique", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=32, do_sample=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Подробнее

Бенчмарки против GPT-2 Small: ARC-Easy +3,6 п.п., HellaSwag −1,5 п.п., среднее по шести задачам +0,7 п.п., но интервал включает ноль — заранее заданный критерий «общей победы» не выполнен.
Обучение: одна RTX 4060 Laptop GPU (8 ГБ), ~57 GPU-часов, пик 6,3 ГБ VRAM; инференс на GPU — 552 МБ в float32 и 278 МБ в bfloat16.
Ограничения: нет инструкционного и safety-тюнинга, safety-оценка не проводилась; реализация без KV cache, поэтому генерация медленнее оптимизированных декодеров.