SmolLM2-135M-PHP
крошечная модель для автодополнения PHP
2 min read
Это файнтюн SmolLM2-135M (135 млн параметров) от автора chellen021 для автодополнения PHP-кода. Личный учебный проект: модель обучена на PHP-файлах из The Stack v3 и не предназначена для production.
Ключевые особенности
- Обучена на 245 130 train- и 10 742 validation-файлах PHP с permissive-лицензиями; 285,7 млн train-токенов.
- Обучение шло на 1 Nvidia T4 (Kaggle), 5 000 шагов — около 14% одного прохода по данным.
- Validation loss снизился с 1.242 до 1.158, perplexity — с 3.46 до 3.18.
- На тестах генерации нет доказанного улучшения корректности кода: доверительные интервалы разницы включают ноль.
- Не для production: может выдавать неверный, небезопасный или нерабочий код; это completion-модель, не чат-ассистент.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
name = "chellen021/SmolLM2-135M-PHP"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name)
inputs = tok("<?php\n\nfunction add($a, $b)\n{\n", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=80, do_sample=False, repetition_penalty=1.1)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Валидация на 2 000 блоков из отложенных репозиториев: loss 1.242 → 1.158, perplexity 3.46 → 3.18.1 Nvidia T4 (Kaggle), 5 000 шагов, batch 8 + gradient accumulation 2, LR 5e-5.
Тесты на собственных 50 промптах, не стандартный бенчмарк; все 95% CI включают ноль.
Данные — The Stack v3 (GitHub до 2025-08-07), только PHP с permissive-лицензиями; возможны повторы и проблемы с лицензиями.










Comments