AmhariXLM-0.5B
компактная двуязычная модель для учебных Q&A
1 min read
AmhariXLM-0.5B — модель на ~565M параметров от fidelizML для ответов на учебные вопросы на амхарском и английском. Обучалась с нуля на SFT-корпусе из учебников 1–10 классов, Wikipedia и общих текстов; архитектура LLaMA-style, контекст — 250 токенов.
Ключевые особенности
- Полностью обучена с нуля: веса собственные, взята только LLaMA-архитектура.
- Двуязычная: ~30% амхарского и ~70% английского в обучающей смеси.
- Формат ChatML, совместим со стандартными chat-шаблонами.
- 565M параметров, 8 слоёв, hidden size 3072, 12 голов внимания (3 KV).
- Apache 2.0 — можно использовать коммерчески и некоммерчески.
Пример
from transformers import LlamaForCausalLM
import torch
model = LlamaForCausalLM.from_pretrained(
'fidelizML/AmhariXLM-0.5B',
torch_dtype=torch.float16,
device_map='auto',
)
Подробнее
Science definition Q&A: 90–95%; single-step arithmetic: 45–80%; GSM8K: 37–55% с best-of-N/self-consistency.565M параметров, float16; контекст всего 250 токенов.
Мультиразрядная арифметика ненадёжна, часть амхарских фактов может галлюцинировать.
Не для медицинских, юридических, финансовых и safety-critical решений.










Comments