qwen2.5-0.5b-coder-instruct-oss
компаньон для генерации кода
2 мин чтенияобновлено
Это легкая LoRA (небольшая надстройка над базовой моделью) на базе компактной модели Qwen/Qwen2.5-0.5B-Instruct, обученная на датасете OSS-Instruct для задач программирования. Модель специализируется на написании кода на Python, C++, Rust и TypeScript, обеспечивая высокую скорость работы и минимальные требования к железу. Она отлично подойдет для локальной интеграции в среды разработки, автоматизации рутинных задач и быстрой генерации алгоритмов. Набор данных очищен от утечек, а сама модель распространяется под пермиссивной лицензией Apache 2.0.
Ключевые особенности
- Значительный прирост точности: Демонстрирует улучшение метрик относительно базовой версии на неразмеченных тестовых выборках.
- Производительность: Легкая архитектура обеспечивает низкую задержку и подходит для развертывания на периферийных устройствах.
- Лицензия Apache 2.0: Доступна для коммерческого и академического использования.
- Совместимость: Полная интеграция со стандартными библиотеками
transformersиpeft.
Что можно сделать
- Интеграция в IDE: Настроить локального ассистента для написания сниппетов кода без использования сторонних API.
- Генерация алгоритмов: Использовать модель для быстрого создания функций на Python, Rust или C++ по текстовому описанию.
- Автоматизация тестов: Применять модель для генерации модульных тестов и проверки корректности кода.
Пример
Пример инференса с использованием базовой модели и PEFT-адаптера:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
base_model_id = "Qwen/Qwen2.5-0.5B-Instruct"
adapter_id = "vennyvirtuoso/qwen2.5-0.5b-coder-instruct-oss"
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(
base_model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
model = PeftModel.from_pretrained(base_model, adapter_id)
model.eval()
problem = "Write an efficient Rust function..."
messages = [{"role": "user", "content": problem}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.2)
code = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(code)
Подробнее
Предобученный перплексити на тесте: 2.92Перплексити после дообучения: 1.83 (относительное снижение на 37.2%)
Объем тестового набора: 1,500 алгоритмических задач
Эпохи обучения: 2.0 (3,126 шагов оптимизации)










Комментарии