PHPko-31M
сверхлёгкая модель для автодополнения PHP-кода
2 мин чтенияобновлено
Крошечная языковая модель на 30.7 млн параметров, обученная с нуля специально для продолжения PHP-кода. Она построена на архитектуре уровня Qwen3 (decoder-only трансформер) и использует собственный BPE-токенизатор, натренированный на чистом PHP. В отличие от крупных универсальных LLM, модель весит совсем немного и генерирует подсказки на обычном CPU ноутбука примерно за 0.3 секунды. Подойдёт разработчикам, которым нужно быстрое локальное автодополнение без видеокарты и тяжёлых окружений.
Ключевые особенности
- Обучена с нуля на ~24.5M токенов кода из 41 open-source проекта (Symfony, Laravel, Doctrine, PHPUnit и др.) только под лицензиями MIT и BSD-3.
- Поддерживает современный синтаксис PHP: типизированные сигнатуры, promotion свойств в конструкторе, fluent-методы и PSR-оформление.
- Работает в стандартной библиотеке
transformers(версии от 4.51) какQwen3ForCausalLMбез флагаtrust_remote_code. - Собственный словарь на 16 000 токенов эффективно упаковывает PHP-код (~4.1 символа на токен).
Что можно сделать
- Встроить в локальный плагин для редактора кода в качестве мгновенного автодополнения строк, сигнатур методов и docblock-комментариев прямо на CPU.
- Использовать для быстрой генерации шаблонных тел классов и геттеров/сеттеров в проектах на базе Symfony или Laravel.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Alptekinege/PHPko-31M")
tok = AutoTokenizer.from_pretrained("Alptekinege/PHPko-31M")
prompt = "
Подробнее
Метрики обучения: validation loss 1.1826 (perplexity ~3.3) за 4000 шагов на одной бесплатной GPU.Контекст: окно 1024 токена (обучалась на фрагментах по 512 токенов), 8 слоёв, GQA, SwiGLU.
Ограничения: это не чат-бот и не умеет в Fill-in-the-Middle (видит только код до курсора), возможны повторы без
repetition_penalty (~1.15), код требует проверки логики и безопасности.









Комментарии