GrimmCoder_v2
компактная модель на 107M параметров для Python-кода
2 min readupdated
GrimmCoder_v2 — ультралёгкая языковая модель архитектуры LLaMA на 107M параметров от автора Bayhakl1, обученная с нуля исключительно на исходном коде Python. Она решает задачи обычного автодополнения кода слева направо (Left-to-Right) и вставки недостающего фрагмента в середину функции — FIM (Fill-in-the-Middle, генерация кода между известным началом и концом). Вторая версия дообучена на датасете Avelina/python-edu-cleaned поверх базового чекпоинта GrimmCoder, благодаря чему результат на бенчмарке HumanEval вырос почти вдвое по сравнению с первой версией. Модель подойдёт разработчикам и исследователям для экспериментов с локальным сверхбыстрым автодополнением Python без серьёзных требований к железу.
Ключевые особенности
- Компактный размер ~106.98M параметров, 16 слоёв и контекстное окно 2048 токенов с групповым механизмом внимания GQA и активацией SwiGLU.
- Специализированный байтовый BPE-токенизатор на 8192 токена, обученный именно под синтаксис Python.
- Поддержка двух режимов генерации: классического продолжения кода и FIM в форматах PSM и SPM (50/50 при обучении).
- Заметный прирост точности: 9.15% (15 из 164 задач) на HumanEval против 5.49% у базовой версии
GrimmCoder.
Что можно сделать
- Встроить через библиотеку
transformersв локальный плагин или скрипт для подсказок и дописывания Python-функций на лету. - Использовать режим Fill-in-the-Middle для автоматического заполнения тела функции, когда уже написаны её сигнатура и последующий вызов.
- Взять за лёгкую основу для дальнейшего дообучения (файнтюна) на собственных репозиториях или учебных задачах по Python.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
tokenizer = AutoTokenizer.from_pretrained("Bayhakl1/GrimmCoder_v2")
model = AutoModelForCausalLM.from_pretrained("Bayhakl1/GrimmCoder_v2", dtype=torch.bfloat16, device_map="auto")
prompt = "<|fim_prefix|>def add(a: int, b: int) -> int:\n <|fim_suffix|>\n\nprint(add(2, 3))\n<|fim_middle|>"
inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=64)[0]))
Подробнее
HumanEval pass@1: 9.15% (15/164 задач в режимах L2R greedy, L2R t=0.2 и FIM greedy), всего решено 20 уникальных задач из 164; синтаксическая валидность до 96.3%.Обучение: 8.70B токенов суммарно (7.93B на претрейне
bigcode/starcoderdata + 774.1M на дообучении Avelina/python-edu-cleaned, 6000 шагов, val loss 1.2260).Ограничения: работает только с кодом на Python в формате автодополнения и FIM, не предназначена для диалогов и инструкций на естественном языке.










Comments