DM-GDNGQA-9.3B
гибридная языковая модель с FP8 Delta-Matching вниманием
2 мин чтенияобновлено
Модель DM-GDNGQA-9.3B-LR1.2e-3-DM на 9.27 миллиарда параметров представляет собой исследовательскую разработку с гибридной архитектурой, состоящей из слоев GatedDeltaNet и GQA (Grouped-Query Attention, разновидность механизма внимания с уменьшенным числом ключей и значений). Она обучена с нуля на 30 миллиардах токенов с использованием метода Delta-Matching для FP8-внимания. Эта модель создана в рамках исследования точности обучения и демонстрирует результаты, полностью сопоставимые со стандартным FP32/BF16 обучением. Она пригодится исследователям архитектур языковых моделей и разработчикам, изучающим эффективные методы квантования.
Ключевые особенности
- Гибридная архитектура: слои GatedDeltaNet сочетаются с GQA (GatedDeltaNet, GatedDeltaNet, GatedDeltaNet, GQA, повторяющиеся 9 раз).
- Обучение на 30B токенов: претрейн с пиковым темпом обучения 1.2e-3 на датасете Nemotron-CC.
- Экспорт в bf16: веса сохранены в формате bf16 safetensors с поддержкой стандартного SDPA внимания.
- Высокие метрики: модель показывает val CE 1.2985 и результат 44.11 на бенчмарке MMLU.
Что можно сделать
- Запуск генерации текста: использовать модель для автодополнения и генерации текста с помощью стандартных инструментов Hugging Face.
- Анализ архитектуры: исследовать особенности гибридных слоев GatedDeltaNet и короткой свертки в flash-linear-attention.
- Дообучение: проводить fine-tuning модели с помощью стандартного класса
Trainerиз библиотеки transformers.
Пример
Пример кода для запуска инференса модели на Python:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "haok1402/DM-GDNGQA-9.3B-LR1.2e-3-DM"
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, trust_remote_code=True).cuda()
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
inputs = tokenizer("The capital of France is", return_tensors="pt").to("cuda")
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=32)[0], skip_special_tokens=True))Подробнее
Метрики (seed 11785): val CE 1.2985, RULER 62.84, MMLU 0.4411, TriviaQA 0.2564.Требования к железу: веса занимают 18.6 GB видеопамяти в bf16.
Ограничения: батчированные промпты должны иметь одинаковую длину из-за особенностей GatedDeltaNet слоев без маски паддинга.
Стек: torch, transformers >= 5, flash-linear-attention 0.5.2.










Комментарии