Asmaa 2B
репетитор базовой грамотности на сирийском диалекте
2 мин чтенияобновлено
Модель Asmaa 2B представляет собой легкий LoRA-адаптер (небольшая надстройка над базовой моделью, 135 МБ) на базе Qwen3.5 2B, созданный для обучения взрослых из Сирии чтению, письму и базовой арифметике. Искусственный интеллект общается в стиле доброго учителя в WhatsApp: отвечает на сирийском левантийском диалекте (шами), задает один короткий наводящий вопрос и не читает лекций, помогая пользователю прийти к ответу самостоятельно. Такая разработка пригодится исследователям, разработчикам образовательных проектов и тем, кто изучает интеграцию языковых моделей в социальные и обучающие инициативы.
Ключевые особенности
- Сократический подход: не дает готовый ответ, а направляет ученика встречным вопросом.
- Разговорный стиль: имитирует переписку в мессенджере на сирийском диалекте арабского языка.
- Легкий вес: адаптер весит всего 135 МБ и запускается на обычном ноутбуке.
- Базовая модель: построена на эффективной архитектуре Qwen3.5 2B с использованием библиотек PEFT и Unsloth.
Что можно сделать
- Интерактивный бот: развернуть учебного помощника в мессенджере для помощи взрослым в повседневных задачах (чтение ценников, чеков, заполнение бланков).
- Дообучение и адаптация: использовать адаптер как основу для создания других диалектных образовательных моделей.
- Исследования в EdTech: протестировать возможности языковых моделей в сфере инклюзивного образования и обучения базовой грамотности.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
from huggingface_hub import hf_hub_download
base = "Qwen/Qwen3.5-2B"
repo = "ekatra/asmaa-2b"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, repo)
system = open(hf_hub_download(repo, "system_prompt.txt"), encoding="utf-8").read()
messages = [{"role": "system", "content": system},
{"role": "user", "content": "مرحبا، بدي اتعلم اقرا الساعة"}]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False,
return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=200, do_sample=False)
print(tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарки: eval loss снизился до 0.725 на тестовом датасете.Железо: запускается на ноутбуке, обучение проводилось на Google Colab T4.
Ограничения: исследовательская превью-версия, ответы требуют проверки носителями языка.
Детали: LoRA r 32, alpha 64, обучено на 157 408 синтетических диалогах.










Комментарии