DRV-Qwen3-1.7B-loop3-avg3
языковая модель с зацикленными слоями
2 мин чтенияобновлено
Экспериментальная базовая LLM (большая языковая модель) на 1.72 млрд параметров, которая тратит больше вычислений на каждый токен без увеличения общего числа весов. Модель основана на Qwen3-1.7B-Base и дополнительно дообучена автором CharlesDDDD на ~20 млрд токенов (веб-тексты, PDF, код и траектории агентов). Главная особенность — центральный блок из 12 слоёв (с 8 по 19) прогоняется по кругу несколько раз подряд с одними и теми же весами, а итоговый чекпоинт получен усреднением трёх независимых запусков обучения. Подойдёт исследователям и разработчикам, изучающим рекуррентные по глубине архитектуры и способы масштабирования вычислений на этапе инференса.
Ключевые особенности
- Повторяющийся блок слоёв: слои 0–7 и 20–27 срабатывают по одному разу, а блок из 12 средних слоёв выполняется циклически (обучен на 3 прохода, но при генерации число циклов можно менять).
- Усреднение трёх запусков: модель представляет собой поэлементное среднее весов трёх независимых тренировок (
loop3-run1,run2,run3), что снижает ошибку лучше каждого отдельного запуска. - Обучаемый гейт (
model.loop_gate): каждый следующий проход получает комбинацию выхода 7-го слоя и предыдущего цикла; при нулевом гейте архитектура полностью совпадает с оригинальной Qwen3. - Ранний выход: при обучении учитывалась ошибка после каждого промежуточного цикла, поэтому модель выдаёт осмысленный текст даже при уменьшении числа проходов.
Что можно сделать
- Исследовать масштабирование инференса: сравнить качество генерации текста и кода при разном количестве проходов блока (от 1 до 8) через параметр
num_loops. - Использовать как базу для дообучения: провести SFT (инструктивный файнтюнинг) поверх рекуррентной архитектуры и сравнить её с обычной
Qwen3-1.7B-Base. - Изучать слияние весов (model merging): протестировать линейную интерполяцию между тремя исходными чекпоинтами из коллекции автора.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
name = "CharlesDDDD/DRV-Qwen3-1.7B-loop3-avg3"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype="bfloat16", trust_remote_code=True).cuda()
ids = tok("The capital of France is", return_tensors="pt").input_ids.cuda()
out = model.generate(ids, max_new_tokens=20, num_loops=3)
Подробнее
Test loss на отложенной выборке: 1.1139 при 3 проходах (против 1.1827 при 1 проходе и 1.1460 у контрольной модели без циклов).Контекст обучения: 16K токенов, оптимизатор AdamW, пиковый LR 3e-4.
Память: каждый проход хранит свой KV-кэш, поэтому при 3 циклах расход кэша примерно в 1.9 раза выше, чем у стандартной Qwen3-1.7B.
Ограничения: это базовая модель без инструктивного тюнинга; требуется
trust_remote_code=True (проверено на transformers 5.14); vLLM и другие движки инференса пока не поддерживают эту архитектуру.









Комментарии