Spidory
30 компактных рекуррентных nGPT-моделей с экспертами
2 min readupdated
Набор из 30 исследовательских чекпоинтов из научной статьи «Choose Again Each Loop: Expert Re-selection and the One-Loop Tax in a Small Looped Transformer» (David Ternoposkiy, 2026). Архитектура основана на рецепте NVIDIA Dory (~26M параметров) и включает входной блок из 4 слоёв, центральный блок из 10 слоёв, который прогоняется k раз подряд (looped transformer — трансформер с повторным использованием одних и тех же слоёв), и выходной блок из 4 слоёв на базе nGPT со SwiGLU и RoPE. В разных вариантах добавлены 4 небольших эксперта в центральный блок (с перевыбором на каждом цикле или выбором один раз), индекс текущего прохода и промежуточные блоки. Это не универсальные чат-боты, а модели для воспроизведения экспериментов на арифметике, коротких вопросах-ответах и TinyStories — они пригодятся исследователям архитектур и рекуррентных трансформеров.
Ключевые особенности
- 10 архитектурных вариантов на 3 сидах (итого 30 моделей) размером от 26.1M до 53.6M параметров.
- Сравнение обычных (no-loop) и циклических моделей с повторным прогоном центрального блока от 1 до 4 раз (
k = 1..4). - Варианты с MoE-экспертами на уровне токенов или последовательностей, с повторным выбором эксперта на каждом цикле и без него.
- Полная воспроизводимость: для каждого варианта приложены веса fp32 (
model.safetensors), конфиги, общий BPE-токенизатор на 4 096 токенов и метрики вresults.json.
Что можно сделать
- Воспроизвести эксперименты из статьи и проверить поведение логитов при разном числе циклов прогона (
kот 1 до 4). - Проанализировать маршрутизацию экспертов: метод
model.infer()возвращает не только логиты, но и статистику того, какие эксперты и сколько раз использовались для каждого токена. - Использовать код и веса под лицензией Apache-2.0 как компактный стенд для изучения рекуррентных трансформеров и nGPT.
Пример
from spidory.evaluate import generate_text
from spidory.hub import load
model, tok = load("token_signal_s0")
print(generate_text(model, tok, "Q: Calculate 12 + 7 * 3.\nA:", 8, k=3))Подробнее
Обучение: 1.2B токенов на TinyStories, сгенерированной арифметике и коротких QA; контекст — 256 токенов, словарь — 4 096.Точность на 500 арифметических задачах (k=3): лучший вариант с пословными экспертами и индексом прохода (
token_signal, 26.6M) набрал 71.3% ± 10.0%, обойдя 30-слойную модель без циклов (53.6M, 70.6% ± 4.8%).Ограничения: модели предназначены исключительно для научных экспериментов и не подходят для общих текстовых задач.
Лицензия: Apache-2.0 на веса и код.










Comments