SmallCoder (303M)
ультракомпактная языковая модель для генерации кода
2 мин чтения
SmallCoder — это компактная модель с 303 миллионами параметров, обученная с нуля специально для генерации кода и алгоритмического мышления. Несмотря на скромный размер, она достигает производительности на уровне гораздо более крупных языковых моделей (LLM), сравниваясь с аналогами на 1B–7B параметров. Модель построена на архитектуре LLaMA и использует токенизатор bigcode/starcoder. Она отлично подойдет разработчикам, которым нужна быстрая локальная модель для написания и отладки кода на ограниченном железе.
Ключевые особенности
- Высокая эффективность: демонстрирует результаты на HumanEval (27.4%), сопоставимые с моделями в разы большего размера.
- Обучение с нуля: прошла полный курс обучения на 29.8 миллиардах токенов, включая этапы лингвистической базы, кода и математики.
- Специализация на коде: оптимизирована под Python и задачи алгоритмического характера.
- Низкие системные требования: благодаря размеру в 303M параметров работает быстро даже на слабых видеокартах или CPU.
Что можно сделать
- Генерация кода: интегрировать в локальные среды разработки или ботов для помощи в написании функций на Python.
- Автодополнение: использовать для быстрого создания шаблонного кода и алгоритмических скриптов.
- Обучение и эксперименты: запускать и тестировать языковые модели на обычных потребительских ПК.
- Исследования: изучать подходы к эффективному обучению компактных LLM, созданных с нуля.
Пример
Пример генерации функции с использованием диалогового формата модели:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "ITLL/smallcoder-303m"
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16).to(device)
prompt = """User: Write a Python function to compute Fibonacci numbers.
Assistant:"""
inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=512,
eos_token_id=tokenizer.eos_token_id,
pad_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Подробнее
• Бенчмарки: HumanEval (pass@1) — 27.4%, MBPP (pass@1) — 31.0%.• Архитектура: LLaMA-type causal decoder (24 слоя, hidden size 768).
• Ограничения: контекст до 1024 токенов, плохо справляется с общими текстами и математикой за пределами кода.
• Обучение: 6B токенов в рамках SFT-этапа на TPU v4-32.










Комментарии