Transformer-1.3B EHWS
разреженная языковая модель со сжатием 90%
2 мин чтенияобновлено
Модель Transformer-1.3B-semi-structured-EHWS-90pct представляет собой экспериментальную языковую модель на 1.3 млрд параметров, в которой линейные слои искусственно разрежены (прорежены) до 90%. За основу взята базовая модель fla-hub/transformer-1.3B-100B, а само прореживание выполнено с помощью двухфазного метода ADMM и калибровки на данных C4. Особенность архитектуры заключается в том, что разреженность является полуструктурированной: каждая строка прореженного линейного слоя сохраняет одинаковое количество весов (топ-10%), тогда как эмбеддинги и финальная головка lm_head остаются плотными. Модель интересна исследователям и инженерам, изучающим методы оптимизации, ускорения инференса и сжатия LLM (больших языковых моделей).
Ключевые особенности
- Экстремальное сжатие: 90% разреженность линейных слоев блоков модели.
- Сбалансированная нагрузка: каждая строка прореженного слоя имеет равное количество ненулевых весов (ровно 10%).
- Метод обучения: двухфазная оптимизация с использованием ADMM и калибровочных последовательностей C4.
- Интеграция: полная совместимость с библиотекой
flash-linear-attention(fla) и стандартомAutoModelForCausalLM.
Что можно сделать
- Тестирование инференса: запустить модель локально с помощью библиотеки
flash-linear-attentionдля экспериментов с разреженными вычислениями. - Анализ качества: сравнить показатели точности и перплексии разреженной версии с плотным базовым аналогом на задачах генерации текста.
- Исследования оптимизации: изучить конфигурационные файлы и результаты в
results.jsonдля воспроизведения метода ADMM на других архитектурах.
Пример
import torch
from transformers import AutoModelForCausalLM
# Загрузка модели требует установленной библиотеки flash-linear-attention (import fla)
model_id = "ikimyaii/Transformer-1.3B-semi-structured-EHWS-90pct"
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")
print(model)
Подробнее
• Перплексия (WikiText-2): Dense — 9.77, эта модель — 42.59• Перплексия (C4): Dense — 14.65, эта модель — 38.86
• Средняя zero-shot точность (lm-evaluation-harness): 0.4390 (Dense) против 0.3663 (эта модель)
• Время обучения: 2.76 часа на одном GPU A100 (40GB)
• Ограничения: эмбеддинги и lm_head остаются плотными, наблюдается снижение точности из-за глубокого прореживания










Комментарии