Языковые моделиAobangaming
Luna 3.1-230m
маленькая чат-модель с контекстом 8k
1 мин чтения
Luna 3.1 — текстовая модель от AobanZ на 230M параметров (около 100M параметров трансформера), продолжение Luna 3. Это causal Transformer на 12 слоёв с hidden size 768 и 12 головами внимания; заявлены контекст 8k и скорость около 130 токенов/с. Лицензия MIT, язык — английский.
🔥 Ключевые особенности
- 💻 Архитектура Lightning с обновлёнными RMSNorm и RoPE; 12 слоёв, 768 hidden, 12 attention heads.
- 📚 Обучена на подмножестве OASST и capybara dataset — карточка называет оба набора.
- 🏃♀ Заявлена скорость около 130 tokens/s и поддержка Llama.cpp.
- 📖 Контекст 8k — для длинных чатов и ролевых сценариев.
- ✅ MIT — можно использовать и дообучать.
💻 Пример
from transformers import pipeline
question = 'Replace with your question'
generator = pipeline('text-generation', model='Aobangaming/Luna-3.1-230m', device_map='auto')
output = generator([{'role': 'user', 'content': question}], max_new_tokens=128, return_full_text=False)[0]
print(output['generated_text'])Подробнее
Бенчмарков в карточке нет. Обучение: RTX 3050 6GB, 0,5 часа, BF16, AdamW, lr 2e-5, batch size 17.Автор предупреждает: ответы могут быть неполными, неточными, повторяться или не относиться к запросу; рекомендует fine-tune и guardrails.
В карточке есть расхождения: заголовок «Luna 2» и ссылка на luna-2-70m, хотя репозиторий — Luna-3.1-230m.
Комментарии