KhwarazmiAI 2.0

KhwarazmiAI 2.0 от ZAZU AI — это PEFT LoRA-адаптер для 4-битной сборки Qwen3.8-27B от Unsloth. Модель заявлена как профессиональный мультиязычный ассистент для английского и узбекского, математических рассуждений, программирования и общей профессиональной работы.

✨ Ключевые особенности

• ✅ LoRA rank 8 и alpha 8 поверх языковых attention- и MLP-модулей; vision-слои заморожены.
• 📚 Обучение на 4 100 примерах из 13 источников, включая OpenHermes, MetaMathQA, GSM8K и узбекский alpaca-cleaned-uz.
• 💻 В карточке отдельно проверялись арифметика, исполняемый Python, следование инструкциям и многоходовой диалог.
• 🌎 Поддерживает английский и узбекский; рекомендованный system prompt задаёт точность, честную неопределённость и следование языку пользователя.

📌 Пример

from unsloth import FastModel
model, processor = FastModel.from_pretrained(
    model_name="ulugbek2013/KhwarazmiAI-2.0",
    max_seq_length=2048,
    load_in_4bit=True,
    full_finetuning=False,
)
model.eval()

Подробнее

Обучение: 4 100 примеров, 512-токенный контекст, AdamW 8-bit, cosine, lr 2e-5; использовались 2× Tesla T4.
Валидация: многоходовой чат прошёл 14/14 проверок; адаптер содержит 992 конечных тензора.
Запуск: 4-битная загрузка, max_seq_length=2048.
Лицензия: некоммерческое исследовательское использование; возможны ошибки, важные факты и код нужно проверять.