ALoDLM Qwen3.8-27B LoRA
адаптер для исследовательской ALoDLM
1 min readupdated
Это LoRA-адаптер (rank 16, alpha 32, 800 тензоров) к Qwen3.8-27B для исследовательской ALoDLM — варианта с повторяемым блоком слоёв 24–39 до max_depth=4. Опубликован Aijuus как research artifact после 1000 шагов обучения; это не готовая модель.
Ключевые особенности
- LoRA для looped-trunk ALoDLM: слои 24–39 итерируются до 4 раз.
- В конфиге есть per-depth exit gate, но обученный
exit_gate.ptотсутствует — адаптивный вывод не работает. - Для загрузки нужны базовый Qwen3.8-27B, ALoDLM reference implementation и файлы адаптера с
alodlm_config.json. - Не standalone-модель: plain Transformers не соберёт looped trunk, нужен класс
ALoDLM. - Обучение: 1000 шагов, ~1,19 млн токенов, bf16,
max_seq_length4096 — около 8% одной эпохи, недообучен.
Пример
Сценарий из карточки — оценка только с --never-exit: гейт никогда не срабатывает, каждая позиция проходит все 4 итерации, а чтение берётся на финальной глубине. Это инспекция и повторная оценка адаптера, не production-генерация.
Подробнее
MMLU-прокси на 513 item: база 71.35%, адаптер 74.85%, дельта +3.51 п.п.; McNemar p=0.0598, интервалы пересекаются — улучшение не доказано.Нужны Qwen3.8-27B и пакет
alodlm; base_model_name_or_path в конфиге null.Ограничения: нет
exit_gate.pt, адаптивный depth не работает; обучение ~8% эпохи, не для production.Лицензия Apache-2.0 наследуется от базовой модели.










Comments