Python Coding Assistant

Это LoRA-адаптер от mazennkarim, дообученный на базе SmolLM3-3B-Base (3B) для генерации Python-кода. Обучение выполнено через SFT и QLoRA на датасете iamtarun/python_code_instructions_18k_alpaca. В репозитории лежит не самостоятельная модель, а адаптер для PEFT.

📝 Ключевые особенности

• 👍 Дообучение через QLoRA + LoRA: 4-bit NF4, LoRA rank 16, alpha 32, dropout 0.05.
• 📝 350 шагов обучения, batch size 1, gradient accumulation 8, max sequence length 1024.
• 😎 На 1 214 отложенных Python-промптах синтаксически валидный код получился в 97.12% случаев.
• 🤔 В сравнении на 100 промптах базовая модель дала 72% валидного Python, дообученная — 97%.
• 🗣 Адаптер загружается поверх SmolLM3-3B-Base через библиотеку PEFT.

😎 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = "HuggingFaceTB/SmolLM3-3B-Base"
adapter_id = "mazennkarim/python-coding-assistant"
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base = AutoModelForCausalLM.from_pretrained(base_id, device_map="auto")
model = PeftModel.from_pretrained(base, adapter_id)

Подробнее

Синтаксическая валидность: 97.12% на 1 214 промптах; у базовой модели — 72% против 97% на 100 промптах (+25 п.п.).
Метрика проверяет только парсинг кода как Python, а не функциональную корректность или исполнение.
Обучение: QLoRA, 4-bit NF4, LoRA r=16, alpha=32, 350 шагов.
Нужно загружать базовую SmolLM3-3B-Base и подключать adapter через PEFT.