Kestrel-34M-anneal-instruct
сверхкомпактная LLM с рекуррентной архитектурой Titans
2 мин чтенияобновлено
Эта модель генерирует ответы на пользовательские запросы в диалоговом формате, работая при экстремально малом объёме памяти — всего 34,3 миллиона параметров. Она создана автором lillycham как этап инструктивного дообучения (SFT) базовой модели Kestrel-34M-anneal-base с расчётом функции потерь только по репликам ассистента. В отличие от классических трансформеров, проект опирается на кастомную архитектуру Looped Titans-MAG с модулем нейронной памяти и цикличным проходом центральных слоёв. Подойдёт исследователям и энтузиастам, изучающим нестандартные сверхмалые архитектуры и методы их обучения.
Ключевые особенности
- Кастомная архитектура
KestrelForCausalLMна базе Looped Titans-MAG (1 вводный слой, 4 центральных слоя с 3 циклами прохода и 1 выходной слой). - Встроенный механизм памяти с окном внимания 256 токенов, чанками памяти по 64 токена и 4 головами памяти.
- Инструктивный файнтюн на 2000 шагов с оптимизаторами Muon и AdamW и итоговым val loss 1.805.
- Компактный словарь на 16 384 токена и размер скрытого состояния 512.
Что можно сделать
- Изучить поведение и качество генерации архитектуры Titans-MAG на сверхмалом масштабе в локальной среде через
transformers. - Использовать как лёгкий базовый чекпоинт для экспериментов с собственным дообучением на узких задачах.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "lillycham/Kestrel-34M-anneal-instruct"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)
prompt = tokenizer.apply_chat_template([{"role": "user", "content": "Hello!"}], tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
out = model.generate(inputs.input_ids, max_new_tokens=64, temperature=0.7, top_p=0.9)
Подробнее
Параметры: 34 262 272 (~34.3M)Метрики на 2000 шаге: train loss 1.706, val loss 1.805
Обучение: batch size 8 (grad_accum 4), длина последовательности 1024, точность bf16 на CUDA
Запуск требует флага
trust_remote_code=True









Комментарии