AmhariXLM-0.5B

AmhariXLM-0.5B — модель на ~565M параметров от fidelizML для ответов на учебные вопросы на амхарском и английском. Обучалась с нуля на SFT-корпусе из учебников 1–10 классов, Wikipedia и общих текстов; архитектура LLaMA-style, контекст — 250 токенов.

1⃣ Ключевые особенности

• ➕ Полностью обучена с нуля: веса собственные, взята только LLaMA-архитектура.
• 🔤 Двуязычная: ~30% амхарского и ~70% английского в обучающей смеси.
• ▶ Формат ChatML, совместим со стандартными chat-шаблонами.
• 0⃣ 565M параметров, 8 слоёв, hidden size 3072, 12 голов внимания (3 KV).
• 🟰 Apache 2.0 — можно использовать коммерчески и некоммерчески.

▶ Пример

from transformers import LlamaForCausalLM
import torch

model = LlamaForCausalLM.from_pretrained(
    'fidelizML/AmhariXLM-0.5B',
    torch_dtype=torch.float16,
    device_map='auto',
)

Подробнее

🔙 Science definition Q&A: 90–95%; single-step arithmetic: 45–80%; GSM8K: 37–55% с best-of-N/self-consistency.
🔙 565M параметров, float16; контекст всего 250 токенов.
🔙 Мультиразрядная арифметика ненадёжна, часть амхарских фактов может галлюцинировать.
🔙 Не для медицинских, юридических, финансовых и safety-critical решений.