Языковые моделиBRR1154
INTRIQ-SmolLM2-135M-Instruct
135M для инженерных диалогов и Python-кода
1 мин чтенияобновлено
INTRIQ-SmolLM2-135M-Instruct — instruction-tuned модель на 135M параметров от BRR1154, основанная на HuggingFaceTB/SmolLM2-135M-Instruct. Это версия с точечной правкой весов для структурированных многошаговых инженерных сценариев, следования инструкциям и генерации научного/математического Python-кода.
▶ Ключевые особенности
- ➕ Архитектура: 30 слоёв Transformer,
d_model=576,d_intermediate=1536, 9 голов внимания. - ➖ Правка весов: затронуто 12 causal-тензоров в слоях 14, 16, 18, 20, 22, 24, 26, 28, 29 — заявленная цель: убрать «conversational amnesia» и усилить научное рассуждение.
- ✖ Promptfoo: 5/5 (100%) против 0/5 у базовой модели.
- 🟰 Диалоговый suite: 300/300 (100%) против 90.33/300 (30.1%) у базы.
- *⃣ WeightWatcher RMT: α 6.4079 → 6.4121; коллапсов 0/212 слоёв.
- 🔤 Язык и лицензия: только английский; Apache 2.0.
➗ Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "BRR1154/INTRIQ-SmolLM2-135M-Instruct"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
prompt = tok.apply_chat_template([{"role":"user","content":"Write a Python function for rolling Z-score."}], tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=180, do_sample=False)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))Подробнее
Диалоговый suite: 300/300 против 90.33/300 у базы.Promptfoo: 5/5 против 0/5; WeightWatcher α: 6.4079 → 6.4121, коллапсов 0/212.
lm-eval: ARC-Easy 50%, ARC-Challenge 26%, HellaSwag 44%, WinoGrande 52%.
Ограничения: только английский; запуск в float32 по примеру карточки.
Комментарии