Onyx-2B
компактный LoRA-адаптер для рассуждений на базе Qwen3.5-2B
2 мин чтения
Onyx-2B — это файнтюн языковой модели Qwen/Qwen3.5-2B от команды AjelixAI, выпущенный в виде LoRA (легковесного адаптера поверх базовой модели). Модель обучена на закрытом внутреннем наборе инструкций для решения логических и математических задач, сохраняя при этом компактный размер (2.24B параметров в базе). От оригинальной Qwen3.5-2B она отличается более высокой точностью ответов без раздувания длины рассуждений — трассировка мыслей занимает столько же токенов. Адаптер пригодится исследователям и разработчикам, которым нужна небольшая локальная LLM для экспериментов с пошаговым мышлением (thinking mode).
Ключевые особенности
- Прирост точности без лишних слов: на тестовом наборе из 16 задач точность выросла с 37.5% до 56.3% при той же средней длине ответа (842 против 843 токенов).
- Минимум обучаемых параметров: LoRA-адаптер (r=32, α=32) затрагивает всего 21.8M параметров — это 0.98% от исходной модели.
- Поддержка режима рассуждений: модель работает с шаблоном чата при включённом параметре
enable_thinking=True. - Открытая лицензия: адаптер распространяется под лицензией Apache-2.0, унаследованной от базовой модели.
Что можно сделать
- Протестировать локальные рассуждения: запустить модель на слабом железе или в Colab для решения задач по арифметике, алгебре, комбинаторике и базовой информатике.
- Встроить в исследовательский пайплайн: использовать через связку
transformersиpeftдля сравнения качества компактных моделей в режиме thinking.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
base = "Qwen/Qwen3.5-2B"
tok = AutoTokenizer.from_pretrained(base)
model = PeftModel.from_pretrained(
AutoModelForCausalLM.from_pretrained(base, dtype="bfloat16", device_map="auto"), "AjelixAI/Onyx-2B"
)
Подробнее
Оценка: 9/16 (56.3%) против 6/16 (37.5%) у Qwen3.5-2B на закрытом наборе из 16 коротких задач (greedy decoding, до 1024 токенов).Обучение: Unsloth + TRL, точность bfloat16, максимальная длина последовательности 4096 токенов, датасет проприетарный.
Ограничения: выборка для теста очень мала, стандартные бенчмарки (MMLU, GSM8K, HumanEval) не запускались; модель наследует слабые стороны баз на 2.2B (ограниченные знания о мире и риск галлюцинаций).










Комментарии