smollm2-sft
Компактный кодинг-адаптер для SmolLM2
1 мин чтенияобновлено
Эта модель представляет собой LoRA (небольшая надстройка над базовой моделью) для языковой модели SmolLM2-360M-Instruct, дообученная на датасете CodeAlpaca-20k для задач программирования. Она позволяет генерировать код и отвечать на технические запросы на базе ультракомпактной модели с параметрами в 360M. Модель ориентирована на разработчиков и энтузиастов, которым требуется легкое решение для локальных экспериментов с кодом.
Ключевые особенности
- База: SmolLM2-360M-Instruct
- Метод: LoRA с конфигурацией r=8 и alpha=16
- Обучение: дообучена на 1000 примерах из CodeAlpaca-20k
- Эффективность: минимальные системные требования для запуска на CPU или GPU
Что можно сделать
- Сгенерировать функцию или простой скрипт по текстовому описанию
- Подключить адаптер через библиотеку peft к базовой модели
- Объединить веса адаптера с базовой моделью с помощью метода merge_and_unload()
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model_name = "HuggingFaceTB/SmolLM2-360M-Instruct"
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
model = AutoModelForCausalLM.from_pretrained(
base_model_name,
torch_dtype="auto",
device_map="cpu",
)
model = PeftModel.from_pretrained(model, "your-username/smollm2-sft")
prompt = "Write a Python function to find the maximum of three numbers."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=100, temperature=0.7)
print(tokenizer.decode(output[0], skip_special_tokens=True))Подробнее
Обучение: 250 шагов, батч 2, градиентный акцентирующий шаг 4Ограничения: обучение на 1000 примерах и скромная емкость базы 360M
Лицензия: MIT










Комментарии