N-Q-164M-Chat
сверхлёгкая русско-английская чат-модель с точным калькулятором
3 мин чтенияобновлено
N-Q-164M-Chat — компактная исследовательская языковая модель от проекта Q Project (наследник идеи MiniMind), обученная полностью с нуля на одной видеокарте V100 16 ГБ. Она поддерживает русский и английский языки, умеет рассуждать через теги и оснащена встроенным механизмом exact circuits: при вычислениях или подсчёте дат модель генерирует тег , а детерминированный исполнитель подставляет точный ответ вместо попыток считать в уме. В основе лежит базовый чекпоинт N-Q-164M с гибридной архитектурой на базе линейного внимания Gated DeltaNet и классического gated attention (166.8M основных параметров плюс 58.7M в эмбеддингах). Модель предназначена для экспериментов с агентным RL (обучением с подкреплением) и изучения того, на что способны сверхмалые нейросети при полном цикле обучения от претрейна до GRPO.
Ключевые особенности
- Гибридная архитектура LLLA ×4: три слоя линейного внимания Gated DeltaNet чередуются с одним слоем gated attention, дополняясь Gated Residual и hashed n-gram эмбеддингами.
- Точные вычисления через exact circuits: при передаче токенизатора в
generate()модель вызывает встроенный исполнитель для арифметики, процентов и разницы между датами, исключая галлюцинации в расчётах. - Полный пайплайн обучения на 1 V100: прошла все этапы от претрейна на 8 млрд токенов (FineWeb-Edu, Cultura-Ru-Edu, русская Википедия) до SFT, reasoning, DPO, GRPO и agentic RL.
- Компактная упаковка весов: помимо стандартного формата
transformersдоступны однофайловые сборкиmodel.qpack(fp16) иmodel.q8.qpack(int8) для запуска в C++-движке qpack.
Что можно сделать
- Изучать полный цикл обучения LLM: использовать чекпоинт и его пайплайн как наглядный эталон для экспериментов с DPO, GRPO и агентным RL на скромном железе.
- Тестировать локальных микро-агентов с тулзами: встраивать модель в лёгкие пайплайны на Python или C++ (через qpack), где нужны быстрые ответы на русском/английском и точный подсчёт чисел или дат.
- Сравнивать масштабирование моделей: сопоставить поведение с младшей версией N-Q-26M-Chat на задачах с вызовом инструментов и пошаговым рассуждением.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("q-project/N-Q-164M-Chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("q-project/N-Q-164M-Chat", trust_remote_code=True)
msgs = [{"role": "user", "content": "Товар стоит 3200 рублей, скидка 25%. Какая итоговая цена?"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = model.generate(ids, max_new_tokens=160, temperature=0.7, top_p=0.9, tokenizer=tok)
print(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=False))
Подробнее
Метрики: 16/16 на тесте вызова инструментов (8 RU + 8 EN), GSM8K EN — 7.2%, GSM8K-ru — 6.2%.Железо: обучалась на одной V100 16 ГБ (около 117 ч претрейн и ~13.4 ч на все этапы дообучения); при инференсе важно передавать
tokenizer=tok в generate() для работы калькулятора.Ограничения: только для исследований и обучения (нет safety-тюнинга), слабые общие знания, частые ошибки в деталях фактов и слабая генерация художественных текстов.
Лицензия кода и весов: Apache-2.0.










Комментарии