Helios

Helios — модульная open-weight foundation-модель от Arron Kian Parejas. Это decoder-only Transformer примерно на 17,84 млн параметров: 7 слоёв, hidden dim 320, GQA и контекст 512 токенов. Рассчитана на эффективный инференс на потребительском железе и кластерах.

📝 Ключевые особенности

• 🤓 Архитектура: decoder-only Causal Transformer, GQA 8 Q : 2 KV, RoPE, Pre-RMSNorm и SwiGLU.
• 😎 HMA с рабочим, эпизодическим, семантическим и процедурным уровнями памяти.
• ⌨ Обучалась на 12 датасетах, включая FineWeb-Edu, The Stack v2, OpenWebMath и CulturaX (tl).
• 🤝 Двойная лицензия Apache-2.0 / MIT.
• 👍 Есть CLI и запуск через Transformers; в карточке также описан roadmap до 6B.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Darknecrocities/Helios")
model = AutoModelForCausalLM.from_pretrained("Darknecrocities/Helios")

inputs = tokenizer("Hello Helios! Who developed you?", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Подробнее

Архитектура: 7 слоёв, hidden dim 320, intermediate dim 864, context length 512.
Языки: en и tl. Обучение: 12 датасетов; доли включают FineWeb-Edu 30%, The Stack v2 20%, OpenWebMath 10%, CulturaX (tl) 10%.
Целевое железо этапа Nano — Apple Silicon M3; бенчмарков в карточке нет.