Granite-MoE code specialist 0.7B
компактная модель для Python-кода
2 min readupdated
Экспериментальная языковая модель (proof of concept), заточенная под генерацию и автодополнение кода на Python. Она создана из базовой MoE-модели (Mixture of Experts — архитектура с разделением на подсети-экспертов) ibm-granite/granite-3.1-1b-a400m-base путём удаления половины экспертов, которые не участвуют в обработке кода. За счёт этого размер уменьшился с 1.33B до 0.73B параметров, но качество работы с кодом осталось на уровне оригинала. Подойдёт разработчикам и исследователям, которым важен быстрый локальный инференс или интересен прунинг MoE-архитектур.
Ключевые особенности
- В каждом слое оставлено только 16 из 32 экспертов — тех, на которые чаще всего маршрутизируются токены кода (по датасетам MBPP и HumanEval).
- После обрезки веса проекций
down_projпересчитаны методом наименьших квадратов и дообучены через дистилляцию от исходной модели. - Перплексия (показатель уверенности предсказания, чем ниже — тем лучше) на коде составила 4.61 против 4.58 у полной версии на 1.33B.
- В репозитории приложен файл
kept_experts.jsonсо списком сохранённых экспертов для каждого слоя.
Что можно сделать
- Встроить в локальный плагин автодополнения Python-кода для работы на слабом железе или CPU.
- Использовать как базовый чекпоинт для дальнейшего instruction-тюнинга под задачи программирования.
- Изучить метод целевого отбора экспертов в MoE-моделях на практике, сравнив сохранённые слои с базовой моделью.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
m = AutoModelForCausalLM.from_pretrained("Pantelispanka/granite-moe-code-specialist-0.7b-v0", dtype="bfloat16")
t = AutoTokenizer.from_pretrained("Pantelispanka/granite-moe-code-specialist-0.7b-v0")
print(t.decode(m.generate(**t("def is_palindrome(s):", return_tensors="pt"), max_new_tokens=40)[0]))
Подробнее
Перплексия (0.73B против 1.33B оригинала): код — 4.61 vs 4.58, математика — 10.6 vs 1.97, обычный текст — 173 vs 10.15.Обучение: дистилляция 400 шагов на одной видеокарте с 8 ГБ VRAM.
Ограничения: модель не прошла instruction-тюнинг (работает только на продолжение текста), не проверялась по метрике pass@k и заметно деградировала на текстах вне программирования.










Comments