OrdoPy-Coder-0.5B
сверхлёгкая нейросеть для кода на Python и пошаговой логики
2 мин чтения
Компактная языковая модель от layer8labs8 на базе Qwen2.5-Coder-0.5B-Instruct (архитектура Qwen2ForCausalLM, 494M параметров, контекстное окно 32K токенов). Разработчики сфокусировали весь объём небольшой модели на одном кластере навыков: написании Python-кода, пошаговом логическом рассуждении и выполнении инструкций на английском языке. За счёт узкой специализации модель показывает заметно более высокую точность исполнения кода по сравнению с базовой версией и при этом помещается менее чем в 1.5 ГБ VRAM в формате float16. Подойдёт для локального автодополнения, быстрой генерации скриптов и решения алгоритмических задач на слабом железе или в браузере/на edge-устройствах.
Ключевые особенности
- Резкий рост качества генерации кода: на тесте HumanEval точность
Pass@1выросла с 9.76% у базовой модели до 40.85% (более чем в 4 раза). - Минимальные требования к памяти: для запуска в
float16нужно меньше 1.5 ГБ видеопамяти. - Упор на пошаговые рассуждения (step-by-step reasoning) и отладку кода на английском языке.
- Поддержка длинного контекста до 32K токенов и стандартного шаблона диалогов Qwen ChatML.
Что можно сделать
- Встроить в локальный плагин для IDE или CLI-утилиту для быстрой генерации и отладки Python-функций без отправки кода в облако.
- Использовать в автоматических пайплайнах и песочницах для генерации небольших скриптов и решения алгоритмических задач с проверкой юнит-тестами.
- Запускать на ноутбуках со встроенной графикой, старых видеокартах или маломощных серверах, где более крупные модели не помещаются в память.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "layer8labs8/OrdoPy-Coder-0.5B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")
messages = [{"role": "user", "content": "Write a Python function `is_palindrome_clean(s: str) -> bool` ignoring spaces and punctuation."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tokenizer([text], return_tensors="pt").to(model.device), max_new_tokens=256, do_sample=False)
Подробнее
Бенчмарки (greedy Pass@1): HumanEval — 40.85% (48.8% в EvalPlus, 46.3% в HumanEval+), MBPP Sanitized — 46.30%, общий результат по 421 задаче — 44.18% против 26.13% у базы.Требования: менее 1.5 ГБ VRAM в
float16, формат весов safetensors.Ограничения: модель настроена строго под английские инструкции, логику и Python — универсальных знаний и поддержки других языков ожидать не стоит.










Комментарии