Vox MENS Qwen3.5-0.8B
сверхлёгкая LLM для разработки на языке Vox
2 min readupdated
Компактная языковая модель для генерации и проверки кода на Vox — full-stack языке программирования, где таблицы БД, бэкенд-эндпоинты, реактивный веб-интерфейс и ИИ-агенты описываются в одном .vox-файле. Модель построена автором brbrainerd на базе гибридной архитектуры Qwen3.5-0.8B (0.75B параметров) и дообучена через QLoRA (метод эффективного дообучения с квантованием). В отличие от базовой версии, которая часто ошибается в синтаксисе и не проходит парсинг, дообученный вариант уверенно пишет компилируемый код без потери общих навыков программирования. Подойдёт разработчикам для быстрого локального автодополнения и проверки синтаксиса прямо на обычном ноутбуке.
Ключевые особенности
- Сверхлёгкий размер (0.75B параметров): быстро запускается на обычных ноутбуках, edge-устройствах и системах со скромным объёмом объединённой памяти.
- Повышение точности компиляции: на проверочном наборе из 52 задач модель исправляет 23 ошибки базовой Qwen3.5-0.8B и не ломает ни одного рабочего примера.
- Два формата поставки: в репозитории лежат как готовые объединённые веса модели, так и отдельный LoRA-адаптер в подпапке
peft. - Широкая совместимость: поддерживает локальный запуск через
vox mens serve,vLLM,Ollama,transformersи облачный Hugging Face Router.
Что можно сделать
- Локальный ассистент в IDE: подключить через
Ollamaили встроенный серверvox mens serveдля мгновенного автодополнения кода и подсказок по синтаксису Vox в офлайне. - Интеграция в пайплайны: встроить в Python- или Rust-проекты через стандартный OpenAI-совместимый клиент для генерации схем данных, запросов и UI-компонентов на лету.
- Тестирование в облаке: опробовать генерацию функций и веб-страниц в интерактивной песочнице Vox MENS Playground Space без установки на свой ПК.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("brbrainerd/vox-mens-qwen3.5-0.8b")
model = AutoModelForCausalLM.from_pretrained("brbrainerd/vox-mens-qwen3.5-0.8b", dtype="auto", device_map="auto")
prompt = tok.apply_chat_template([{"role": "user", "content": "Write a Vox hello-world function."}], tokenize=False, add_generation_prompt=True, enable_thinking=False)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Бенчмарки: на held-out тесте из 52 задач модель исправляет 23 провала базовой Qwen3.5-0.8B и сохраняет 0 регрессий.Железо: пиковое потребление памяти при обучении составило 16393 MiB (замеры для инференса не проводились).
Ограничения: модель заточена под быстрые однофайловые правки и автодополнение; для сложной логики по нескольким функциям автор рекомендует старшие версии на 2B или 4B.










Comments