Cyrah

Cyrah — модель от Juan Ignacio Robledo на 0.02B параметров (около 20M). Это собственный гибридный декодер cyrah / CyrahForCausalLM, обученный с нуля: 10 слоёв, hidden 144, смешение девяти опубликованных архитектурных линеек в одном блоке. Языки — испанский и английский.

🤓 Ключевые особенности

• 🤝 Гибридный план слоёв: linear_attention (GDN-2), короткая свёртка, sliding_attention и full_attention; плотная MLP в первом слое и MoE в остальных.
• ⌨ Словарь на 65 536 токенов переиспользован как есть, без нового tokenizer.
• 😎 Есть явное рассуждение в <think>...</think> и tool calling через <|tool_call_start|>[fn(arg='valor')]<|tool_call_end|>.
• 🫡 Собственная идентичность: отвечает, что её зовут Cyrah, а создатель — Juan Ignacio Robledo.
• 😔 GGUF не опубликован: в llama.cpp нет конвертера для архитектуры cyrah, репозиторий в формате transformers.

📝 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('lilgarca/my-model-v01')
model = AutoModelForCausalLM.from_pretrained('lilgarca/my-model-v01', trust_remote_code=True)
msgs = [{'role': 'user', 'content': 'Como te llamas?'}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors='pt')
print(tok.decode(model.generate(ids, max_new_tokens=128)[0][ids.shape[-1]:], skip_special_tokens=False))

Подробнее

Параметры: 0.02B (≈20M), 10 слоёв, hidden 144; словарь 65 536 токенов.
Обучение: 540 циклов, 58 945 примеров; обновлено 6 ноября 2026.
Формат: safetensors + modeling_cyrah.py, нужен trust_remote_code=True; GGUF-конвертера для cyrah в llama.cpp нет.
Языки: испанский и английский; бенчмарки в карточке не приведены.