Python Coder 3B Research
компактная модель для дописывания Python-функций
2 min readupdated
Эта языковая модель на 3.09 млрд параметров от автора Noor-Khan решает узкую задачу: дописывает тело коротких функций на Python, получая на вход только сигнатуру (заголовок с параметрами) и docstring (документацию функции). В основе лежит huihui-ai/Qwen2.5-3B-Instruct-abliterated-SFT — модификация Qwen2.5-3B-Instruct. Автор дообучил базу с помощью LoRA (метод экономичной адаптации весов) на синтетическом датасете из 165 примеров и вшил изменения в веса формата BF16. Подойдёт разработчикам и исследователям, которым нужна лёгкая локальная модель для быстрого прототипирования простых функций или экспериментов с генерацией кода.
Ключевые особенности
- Специализация на Python: модель натренирована генерировать тело коротких функций по заданному описанию и заголовку.
- Слияние весов: LoRA-адаптер на 120 шагов обучения уже объединён с базовой моделью в четыре файла формата SafeTensors.
- Компактный размер: 3.09B параметров позволяют запускать её через библиотеку
transformersна локальном железе без больших затрат памяти.
Что можно сделать
- Автодополнение в скриптах: быстро получать заготовки небольших вспомогательных функций по их текстовому описанию.
- Исследовательские тесты: сравнивать поведение дообученной версии с исходным чекпоинтом
Qwen2.5-3B-Instruct-abliterated-SFTна синтетических задачах.
Пример
Передайте сигнатуру функции и docstring в сообщении пользователя и продублируйте их в начале ответа ассистента с использованием встроенного chat template — модель допишет тело функции. Перед применением в проектах сгенерированный код необходимо проверить и протестировать.
Подробнее
Бенчмарк на синтетических наборах Python-тестов (сравнение с исходным чекпоинтом):Familiar operation patterns: 125/144 (было 124/144)
Original combination challenge: 24/24 (было 24/24)
Fresh task families: 24/40 или 60% (было 27/40)
Ограничения: лицензия Qwen Research License (только некоммерческие исследования), не проверялась на исправлении багов уровня целого репозитория и других языках программирования.










Comments