HGRN-1.3B-semi-structured-EHWS-80pct-seed2
разреженная версия языковой модели
1 мин чтенияобновлено
Эта модель представляет собой экспериментальную версию базовой fla-hub/hgrn-1.3B-100B, оптимизированную с помощью двухфазного алгоритма ADMM для достижения 80%-й полуструктурированной разреженности. В линейных слоях модели сохраняется равное количество весов в каждой строке, при этом эмбеддинги и финальная проекция остаются плотными. Модель предназначена для исследователей и разработчиков, изучающих эффективные архитектуры с линейным вниманием и разреженными весами. Для запуска требуется установленная библиотека flash-linear-attention.
Ключевые особенности
- Полуструктурированная разреженность: 80% весов в линейных слоях удалены с сохранением равномерной структуры по строкам.
- Оптимизация ADMM: двухфазное обучение с калибровкой по данным C4 для минимизации потерь точности.
- Эффективность: обучение заняло всего 3.71 часа на одном ускорителе A100 40GB.
- Совместимость: полная интеграция со стандартным интерфейсом
AutoModelForCausalLMчерез библиотекуfla.
Что можно сделать
- Исследования сжатия: протестировать поведение разреженных линейных моделей в задачах генерации текста.
- Бенчмаркинг: сравнить показатели производительности и перплексии с базовой плотной моделью на наборах данных вроде WikiText-2.
- Эксперименты с железом: оценить потенциал ускорения вычислений за счет равномерной разреженности слоев.
Пример
from transformers import AutoModelForCausalLM
import fla
model = AutoModelForCausalLM.from_pretrained(
"ikimyaii/HGRN-1.3B-semi-structured-EHWS-80pct-seed2",
device_map="auto"
)
print(model)
Подробнее
Перплексия: WikiText-2 (42.49), C4 (29.72)Средний zero-shot (lm-evaluation-harness): 0.3821
Базовая модель: fla-hub/hgrn-1.3B-100B
Параметры: 1.36 млрд










Комментарии