NextTransformer Circle Loop
языковая модель с рекуррентными блоками
2 min readupdated
Экспериментальная языковая модель на ~928 млн параметров (в названии 49B означает объём обучающей выборки в токенах, а не размер самой сети). Она создана командой NextTransformer для сравнения нестандартных архитектур и работает по принципу Circle Loop: после прохождения первого круга вычислений каждый блок модели может выступать точкой выхода. На вход модель принимает текст и предсказывает следующий токен, поддерживая контекст до 2 048 токенов. Модель обучена с нуля на датасете ClimbMix и подойдёт исследователям и разработчикам, которым интересно тестировать альтернативы классическим трансформерам.
Ключевые особенности
- Нестандартная архитектура Circle Loop с возможностью раннего выхода на каждом блоке после первого прохода.
- Компактный размер — 927 992 523 параметра (~0.93B), что позволяет запускать модель даже на CPU.
- Предобучение на 49.152 млрд токенов из датасета ClimbMix (46 875 шагов обновления весов).
- Собственный токенизатор на базе
tiktokenи контекстное окно длиной 2 048 токенов.
Что можно сделать
- Изучить поведение рекуррентных и циклических блоков в сравнении со стандартными трансформерами в рамках исследовательских бенчмарков.
- Использовать чекпоинт как базовую предобученную модель для экспериментов с дообучением (fine-tuning) под узкие задачи генерации текста.
- Протестировать инференс и механизмы раннего выхода (early exit) для ускорения генерации на локальном железе.
Пример
from pathlib import Path
from huggingface_hub import snapshot_download
from safetensors.torch import load_file
from nexttransformer.models import build_model, config_from_dict
root = Path(snapshot_download("NextTransformer/Circle-Loop-49B-Tokens"))
model = build_model(config_from_dict(eval((root / "model_config.json").read_text())), device="cpu")
model.load_state_dict(load_file(root / "model.safetensors"), strict=True)
Подробнее
Validation BPB (bits per byte): 0.6912Метрика CORE-22 (×100): 28.97
Параметры обучения: 46 875 шагов на 49.152B токенов (ClimbMix), контекст 2 048 токенов
Для запуска требуется Python 3.10–3.13,
safetensors, tiktoken и пакет nexttransformer из GitHub









Comments