Qwen2.5-Coder-1.5B-Python-OCI-LoRA
компактный генератор Python-кода
2 min readupdated
Лёгкая модель на 1.54B параметров для генерации функций, классов и небольших скриптов на Python по текстовому описанию. В основе лежит Qwen2.5-Coder-1.5B-Instruct от Alibaba Cloud, дообученная методом QLoRA (квантованная адаптация с низким рангом) на 10 000 проверенных тестами примерах из датасета nvidia/OpenCodeInstruct. В отличие от обычных адаптеров, веса LoRA уже объединены с базовой моделью, поэтому её можно запускать напрямую через transformers без библиотеки PEFT. Подойдёт для быстрого прототипирования, обучения и экспериментов с локальными кодовыми моделями на слабом железе.
Ключевые особенности
- Объединённые веса: работает как самостоятельный чекпоинт без необходимости отдельно подгружать LoRA-адаптер.
- Проверенный датасет: для обучения отбирались только те ответы из OpenCodeInstruct, которые успешно прошли все сгенерированные юнит-тесты.
- Скромные требования: в формате fp16 модель занимает около 3 ГБ памяти, а также умеет работать на CPU в fp32.
- Удобный формат: использует стандартный шаблон диалога Qwen (ChatML) и поддерживает лицензию Apache-2.0.
Что можно сделать
- Генерировать отдельные функции и классы на Python по описанию задачи на естественном языке.
- Использовать в локальных скриптах и прототипах, где критичен небольшой объём модели и низкое потребление VRAM.
- Проводить исследования и сравнивать качество компактных моделей на задачах программирования.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
repo = "2003Rohansinha/Qwen2.5-Coder-1.5B-Python-OCI-LoRA"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.float16, device_map="auto")
messages = [{"role": "system", "content": "You are an expert Python programmer. Answer with correct, complete, runnable Python code."}, {"role": "user", "content": "Write a function that merges two sorted lists."}]
out = model.generate(**tok(tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True), return_tensors="pt").to(model.device), max_new_tokens=512, do_sample=False)
Подробнее
HumanEval pass@1 (greedy decoding): 67.7% против 68.9% у базовой Qwen2.5-Coder-1.5B-Instruct (разница в пределах погрешности на 164 задачах).Требования: transformers>=4.37, около 3 ГБ памяти в fp16; рекомендуется декодирование с
do_sample=False.Обучение: 1 эпоха (613 шагов) на 2× NVIDIA T4 за ~1 час; QLoRA (r=16, alpha=32, 18.5M обучаемых параметров), max_length 1024 токена.
Ограничения: обучена только на Python, может ошибаться или выдумывать API, длинные контексты свыше 1024 токенов могут снижать качество.










Comments