Aether-15B
мультиязычный файнтюн Qwen3 с упором на математику и код
2 min readupdated
Aether-15B — языковая модель на 14,77 млрд параметров от K-Ai (Kortex Ai), созданная на базе Qwen/Qwen3-14B-Base. Она дообучена методом QLoRA (квантованная адаптация, позволяющая обучать крупные модели с меньшим расходом видеопамяти) на собственном наборе данных Kai_v3 и объединена в полные веса формата BF16. Модель ориентирована на работу с английским, индонезийским и японским языками, а основной акцент сделан на решении математических задач и написании кода на Python. Пригодится разработчикам и исследователям, которым нужна компактная открытая LLM под лицензией Apache 2.0 для базовых расчётов, генерации кода и работы с тремя целевыми языками.
Ключевые особенности
- Поддержка трёх языков: английского (en), индонезийского (id) и японского (ja).
- Специализация на математике (алгебра, арифметика, дроби, теория чисел, текстовые задачи) и коде на Python.
- Обучение с помощью QLoRA (rank 32, alpha 32) через библиотеку Unsloth с последующим слиянием весов в 16-битный формат (
unsloth_merged_16bit). - Открытая лицензия
apache-2.0, унаследованная от базовой модели Qwen3-14B-Base.
Что можно сделать
- Использовать в локальных скриптах и ботах на базе
transformersдля генерации и проверки простого кода на Python. - Решать математические задачи разных типов — от дробей и процентов до числовых последовательностей.
- Интегрировать в мультиязычные ассистенты для обработки запросов на английском, индонезийском и японском языках.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "K-Ai-Official/Aether-15B"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map="auto")
msgs = [{"role": "user", "content": "Perkenalkan dirimu secara singkat."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True, enable_thinking=False).to(model.device)
Подробнее
Бенчмарк на отложенной выборке Kai_v3 (123 примера): точность 99,05% в математике (104/105), 100% в коде на Python (18/18), 100% на английском и японском, 97,56% на индонезийском.Детали обучения: 1 эпоха на 822 очищенных примерах (из них 735 по математике и 78 по коду), максимальная длина контекста при обучении — 512 токенов, обучение проводилось на GPU с 16 ГБ VRAM.
Ограничения: модель не сравнивалась с другими LLM, оценка безопасности проводилась только простыми эвристиками, а при инференсе важно использовать тот же чат-шаблон с параметром
enable_thinking=False.









Comments