Aurora2-400M-A20M
компактная MoE-модель с открытым кодом
2 мин чтенияобновлено
Aurora2-400M-A20M — это базовая языковая модель decoder-only (генерирующая текст на основе предыдущих токенов) с общим количеством параметров около 400 млн, из которых только 19 млн активны на каждый токен. Модель использует архитектуру MoE (Mixture-of-Experts, смесь экспертов) с 32 маршрутизируемыми и 1 общим экспертом на слой. Она обучена с нуля на 100 млрд токенов с использованием одной видеокарты. Это базовая модель без настройки инструкций (instruction-tuning) и RLHF (обучения с подкреплением на основе отзывов людей), поэтому она предназначена для исследований или дальнейшей доработки.
Ключевые особенности
- Архитектура MoE: 32 routed-эксперта и 1 shared-эксперт на каждый из 12 слоев.
- Токенизатор с словарем на 16 384 элементов, обученный с нуля.
- Обучение на смеси датасетов общим объемом 100 млрд токенов (веб-тексты, математика, энциклопедии).
- Использование комбинации оптимизаторов Muon и AdamW для эффективного обучения.
Что можно сделать
- Исследовать поведение компактных разреженных моделей (Sparse MoE) и работу маршрутизаторов.
- Использовать модель в качестве легкой базы для дообучения (fine-tuning) под специфические задачи.
- Запустить инференс на потребительской видеокарте с поддержкой BF16 благодаря кастомной реализации в Transformers.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "AuroraAI-Research/Aurora2-400M-A20M"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
repo,
subfolder="fp16",
trust_remote_code=True,
torch_dtype=torch.float16,
device_map="auto",
).eval()
inputs = tokenizer("The Capital of France is", return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model.generate(
**inputs,
max_new_tokens=128,
do_sample=True,
temperature=0.5,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Подробнее
Бенчмарки: HellaSwag (acc_norm: 38.36), PIQA (acc_norm: 66.92), ARC-Challenge (acc_norm: 26.11).Контекст: 2 048 токенов.
Ограничения: базовая модель, отсутствие навыков диалогового ассистента, фокус на английском языке.
Железо: одна карта с поддержкой BF16 (обучение заняло около 36 часов на RTX Pro 6000).










Комментарии