Qwen3.5-4B-RustCoder
компактная модель для чистого кода на Rust
2 мин чтенияобновлено
Файнтюн (дообучение) модели Qwen3.5-4B размером 4.54B параметров, заточенный под написание кода на языке Rust, который реально компилируется, проходит скрытые тесты и не вызывает замечаний линтера clippy. В отличие от базовой версии, модель обучалась на собственных удачных попытках, самоисправлениях после ошибок компилятора и отфильтрованных рассуждениях DeepSeek V4.1 Flash. При этом она сохраняет режим рассуждений (thinking mode) и не теряет общие знания. Подойдёт разработчикам для локального запуска на обычном железе или Apple Silicon (есть отдельная версия MLX 8-bit) для генерации функций, модулей и рефакторинга.
Ключевые особенности
- Жёсткая фильтрация данных: в обучающую выборку попали только те ответы, которые прошли сборку, скрытые тесты и проверку линтером.
- Улучшенный thinking mode: благодаря фильтрации слишком длинных цепочек рассуждений модель реже зацикливается (лимит токенов достигается в 36 случаях из 720 против 82 у базы).
- Сохранение базовых навыков: общие способности на текстах и бенчмарках остались на уровне оригинальной Qwen3.5-4B.
- Формат bf16 safetensors: веса деквантизированы из 8-битного MLX-чекпоинта и полностью совместимы со стандартной библиотекой
transformers.
Что можно сделать
- Генерировать отдельные функции, структуры данных и небольшие модули на Rust с высокой вероятностью успешной компиляции с первого или нескольких запусков.
- Использовать в связке с компилятором в цикле (compiler-in-the-loop): подавать модели вывод ошибок
cargo checkили тестов, чтобы она сама исправляла свой код. - Проводить рефакторинг существующего кода на Rust и писать юнит-тесты с соблюдением правил
clippy.
Пример
from transformers import AutoModelForImageTextToText, AutoTokenizer
repo = "alan13367/Qwen3.5-4B-RustCoder"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForImageTextToText.from_pretrained(repo, dtype="auto", device_map="auto")
messages = [{"role": "user", "content": "Write in Rust: pub fn median(xs: &mut [i64]) -> Option"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=True, return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=4096, do_sample=True, temperature=0.6, top_p=0.95, top_k=20)
Подробнее
Бенчмарки Rust (Pass rate): Easy — 51.7% (против 41.4% у базы), Quality — 17.2% (против 8.6%), Hard — 8.8% (против 7.5%), общий прирост +4.3 п.п. по 180 задачам.Общие бенчмарки: MMLU 69.0%, ARC-Challenge 90.0%, GSM8K 92.0%, HellaSwag 82.0%.
Рекомендации: не задавать system prompt, держать thinking включённым с лимитом
max_new_tokens=4096 (temperature 0.6, top-p 0.95, top-k 20).Ограничения: обучалась только текстовая часть (vision-модуль не тестировался); отсутствует MTP-голова для спекулятивного декодирования в vLLM и SGLang; не проверялась на многофайловых проектах.
Лицензия: Apache 2.0.










Комментарии