gpt-pp-chat
ультракомпактная чат-модель на 135M параметров
2 min readupdated
Компактная языковая модель (LLM) на базе gpt-pp-base, дообученная вести диалог и отвечать на вопросы пользователя. Имеет всего 135 млн параметров, построена на модифицированной архитектуре NanoChat от автора david-rename. В отличие от базовой версии, которая просто продолжает текст, эта версия усвоила формат диалога и научилась вовремя останавливать генерацию, но при этом ожидаемо часто ошибается по существу. Подойдёт разработчикам и энтузиастам как прозрачный пример для изучения пайплайна обучения, инференса и устройства небольших моделей.
Ключевые особенности
- Дообучена на 67 млн токенов из датасета SmolTalk (конфигурации everyday-conversations, smol-constraints и smol-magpie-ultra) за 2048 шагов на одном GPU за 32 минуты.
- Основана на архитектуре NanoChat с добавлением масштабирующего коэффициента (gain = 12) для нормализованных запросов (query), поэтому для запуска требуется флаг
trust_remote_code=True. - Поддерживает чередование реплик
userиassistant, но не имеет отдельной системной роли — системный промпт приклеивается к первому сообщению пользователя через пустую строку. - Автор честно предупреждает об ограничениях: модель уверенно галлюцинирует, не умеет считать и обучена на контексте до 1024 токенов.
Что можно сделать
- Изучить устройство минималистичной чат-модели и разобрать 90 задокументированных нюансов и багов обучения из репозитория автора.
- Протестировать локальный инференс и развёртывание лёгких моделей через библиотеку
transformersна слабом железе.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "david-rename/gpt-pp-chat"
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True)
messages = [{"role": "user", "content": "Why is the sky blue?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = model.generate(**inputs, max_new_tokens=300)Подробнее
Метрики до / после дообучения: loss на токенах ассистента снизился с 2.52 до 1.44 nats, loss на токене конца реплики — с 26.4 до 0.24 nats, но bits per byte на FineWeb-EDU вырос с 0.932 до 1.213.В тесте из 20 вопросов модель дала 7 правильных ответов, 11 неправильных и 2 не по теме; провалила все 3 вопроса на арифметику и 2 запроса на составление списков.
Веса сохранены в формате float32; для работы требуется библиотека transformers версии 5 (проверено на 5.23.0).
Язык: английский. Максимальная длина контекста: 1024 токена.










Comments