Llama-3.2-1B-Recurrent-Loopy-W4A4-G32
4-битный чекпоинт рекуррентной Llama
2 min readupdated
Исследовательский релиз от автора Shameless111 представляет квантованную версию языковой модели Recurrent-Llama-3.2-1B с рекуррентной глубиной T=16. Модель сжата методом Loopy в формат W4A4 (4-битные веса и динамические 4-битные активации на токен с размером группы 32 и блоками Адамара 64). Кандидат отобран из пула в 400 вариантов для воспроизведения основных табличных замеров эксперимента. Чекпоинт пригодится исследователям и инженерам, изучающим экстремальное квантование рекуррентных языковых архитектур.
Ключевые особенности
- Формат W4A4 и группа 32: веса и активации приведены к 4 битам, при этом целые коды весов хранятся в контейнерах INT8 вместе со шкалами, нулевыми точками и знаками преобразования Адамара.
- Отбор из 400 кандидатов: опубликован лучший вариант
s1024_p08_b64с параметром масштабирования 0.8 и сидом ротации 1024. - Полный пакет воспроизведения: репозиторий содержит не только
selected.pt, но и код оценки, окружение conda, фиксированные окна калибровки из WikiText-103 и контрольные суммы SHA-256. - Симуляция через BF16: релиз не использует упакованное хранилище INT4 или специализированные INT4-ядра — оценка проводится через фейковое квантование в BF16.
Что можно сделать
- Воспроизвести бенчмарки Loopy: прогнать готовые скрипты
eval_wikitext.pyиeval_tasks.pyдля проверки перплексии на WikiText-2 и точности на пяти задачах. - Сравнить режимы точности: сопоставить работу W4A4 с соседним релизом автора W4A8 на базе одной и той же рекуррентной архитектуры.
- Изучить траекторию поиска: разобрать артефакты в папке
artifacts/, чтобы увидеть настройки калибровки и записи всех этапов отбора из 400 кандидатов.
Пример
hf download Shameless111/Llama-3.2-1B-Recurrent-Loopy-W4A4-G32 --local-dir loopy-model
cd loopy-model/code && conda env create -f environment.yml && conda activate loopy
python scripts/download_hf_artifacts.py --snapshot .. --output "$PWD/artifacts/g32"
export LOOPY_ARTIFACTS="$PWD/artifacts/g32" LOOPY_MODELS="recurrent-llama-3.2-1b"
CUDA_VISIBLE_DEVICES=0 python eval_tasks.py --model recurrent-llama-3.2-1b --a-bits 4 --variant selected --tasks lambada_openai winogrande arc_challenge hellaswag mmlu
Подробнее
Бенчмарки (W4A4): средняя точность по 5 задачам — 25.25% (WinoGrande — 52.17%, HellaSwag — 27.68%, MMLU — 23.07%, ARC-C — 22.70%, LAMBADA acc — 0.64%), WT2 word PPL — 1088.17.Запуск: требуется собственный загрузчик из папки
code/, стандартный from_pretrained() из Transformers не поддерживается.Лицензия: веса распространяются по Llama 3.2 Community License, калибровка и поиск выполнены на фиксированных окнах WikiText-103.










Comments