Llama-3.2-1B-Recurrent-Loopy-W4A8-G32
квантованный чекпоинт рекуррентной Llama 3.2
2 min readupdated
Это исследовательский чекпоинт от review-artifacts-27, основанный на рекуррентной языковой модели irafm-llm/Recurrent-Llama-3.2-1B (с глубиной рекурренции T=16). Модель прошла квантование (сжатие весов и активаций для экономии ресурсов) по схеме W4A8 — 4 бита на веса с размером группы 32 и динамические 8 бит на активации на токен. Чекпоинт отобрали из пула в 400 кандидатов с применением преобразования Адамара. Решение пригодится исследователям и инженерам, которые изучают сжатие рекуррентных LLM и хотят воспроизвести экспериментальные замеры из научной работы.
Ключевые особенности
- Квантование W4A8 (веса 4 бита с группой G32, динамические активации A8) и блок Адамара размером 128.
- Отбор лучшего кандидата (
s250725084_p12_b128) из 400 вариантов с использованием фиксированных окон WikiText-103. - В репозиторий включены скрипты воспроизведения, замороженный протокол, хеши SHA-256 и эталонные метрики в BF16.
- Веса W4 хранятся в контейнерах INT8 без упакованного INT4-хранилища и без специализированного INT4-ядра для инференса; оценка работает через эмуляцию в BF16.
Что можно сделать
- Воспроизвести экспериментальные замеры перплексии на WikiText-2 и точности на пяти бенчмарках (LAMBADA, WinoGrande, ARC-C, HellaSwag, MMLU).
- Использовать сохраненные артефакты поиска и калибровочные окна как базу для сравнения собственных методов квантования рекуррентных моделей.
- Сравнить поведение схемы W4A8 с соседним вариантом релиза W4A4-G32 на одних и тех же тестовых задачах.
Пример
hf download review-artifacts-27/Llama-3.2-1B-Recurrent-Loopy-W4A8-G32 --local-dir loopy-model
cd loopy-model/code && conda env create -f environment.yml && conda activate loopy
python scripts/download_hf_artifacts.py --snapshot .. --output "$PWD/artifacts/g32"
export LOOPY_ARTIFACTS="$PWD/artifacts/g32" LOOPY_MODELS="recurrent-llama-3.2-1b"
CUDA_VISIBLE_DEVICES=0 python eval_tasks.py --model recurrent-llama-3.2-1b --a-bits 8 --variant selected --tasks mmluПодробнее
Средняя точность (Mean acc.) по 5 задачам: 37.23% (WinoGrande — 52.80%, HellaSwag — 45.88%, LAMBADA — 34.76%, ARC-C — 28.75%, MMLU — 23.94%), WT2 word PPL — 24.76.Ограничение: это кастомный чекпоинт Loopy, стандартный вызов
from_pretrained() из Transformers не подойдет — нужен комплектный загрузчик.Лицензия на веса: Llama 3.2 Community License; для запуска требуется GPU с поддержкой CUDA.










Comments