MoR 198M
LLM, которая сама решает, сколько раз думать
2 min readupdated
Это языковая модель на 198M параметров, обученная с нуля на одной T4 без предобученной базы и файнтюнинга. В основе — Mixture of Recursion (MoR): общий transformer-блок прогоняется через вход 1, 3 или 5 раз, а глубину выбирает роутер по perplexity. Простые запросы обрабатываются дешевле, сложные — глубже. Обучение шло на 150K англоязычных диалогов; на свежих данных модель заметно переобучается, поэтому это research/educational-инструмент, а не готовый чат-бот.
Ключевые особенности
- MoR: общий transformer-блок повторяется 1, 3 или 5 раз в зависимости от сложности входа.
- Роутер на 2-слойном MLP выбирает глубину по perplexity, без ручной разметки.
- NaN-safe FP16: маскирование -1e4 и clamping; 0 NaN батчей на 150K шагов.
- 198M параметров: GPT-2 BPE на 50 260 токенов, 16 слоёв, RoPE.
- Ограничения: контекст 512 токенов, только английский, есть переобучение.
Что можно сделать
- Проверять адаптивное вычисление: сравнивать ответы при 1, 3 и 5 рекурсивных проходах.
- Изучать сборку LLM с нуля: код роутера, NaN-safe attention и обучение на T4.
- Прототипировать чат-бота с оговорками: модель годится для экспериментов, не для продакшена.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Plans11/recursive-language-model-198m", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("Plans11/recursive-language-model-198m", trust_remote_code=True)
prompt = f"<|user|>\n{question}\n<|assistant|>\n"
inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
out = model.generate(**inputs, max_new_tokens=150, do_sample=True, temperature=0.7, top_p=0.9)
print(tokenizer.decode(out[0], skip_special_tokens=True))
Подробнее
Val PPL на своём распределении — 15.37; на свежих HH-RLHF — 43.21 против 26.89 у GPT-2 Medium.Обучение: 150K шагов, ~9 ч 12 мин на T4 15.6 ГБ, 2 эпохи.
Контекст 512 токенов, только английский; возможны повторы после 200 токенов и галлюцинации.
Статус — research/educational, лицензия MIT.










Comments