Quark-150M-128K-Zero
микро-LLM на 165M параметров с контекстом 128K и RL без SFT
2 мин чтенияобновлено
Исследовательская языковая модель от empero-ai, которая при размере всего 165,3 млн параметров поддерживает контекст до 131 072 токенов, умеет рассуждать в скрытом блоке [MONOLOGUE] и вызывать внешние инструменты. Модель построена на базе Quark-150M-128K-Base и обучена методом GRPO (обучение с подкреплением с относительной оценкой групп ответов) напрямую с базового чекпоинта, полностью минуя этап SFT (контролируемого дообучения на готовых примерах). В отличие от стандартных трансформеров, здесь используется гибридная архитектура с локальным окном внимания и параллельной свёрткой, что резко снижает расход памяти при длинном контексте. Подойдёт исследователям, изучающим динамику RL на малых моделях, работу длинного контекста и гибридные архитектуры.
Ключевые особенности
- Гибридная архитектура на 16 слоёв: 12 локальных слоёв (окно внимания 256 токенов плюс параллельная каузальная свёртка) и 4 глобальных слоя с GQA, благодаря чему полный KV-кэш хранится только для 4 слоёв.
- Чистый RL без SFT: модель училась исключительно на собственных генерациях с программной проверкой ответов, юнит-тестов и команд в песочнице (95% наград) и оценкой LLM-судей (5%).
- Режим рассуждений и инструменты: перед ответом модель может думать в теге
[MONOLOGUE](включается черезenable_thinking=True) и формировать вызовы функций через[TOOL_CALL]. - Контекст 128K: расширена до 131 072 токенов после претрейна на ~506 млрд токенов.
Что можно сделать
- Исследовать RL на сверхмалых моделях: сравнивать поведение чекпоинта с базовой версией
Quark-150M-128K-Baseи изучать, как GRPO влияет на форматирование и логику при малом числе параметров. - Тестировать локальный вызов инструментов и агентов: запускать модель в связке с
transformersдля отработки базовых команд в песочнице или простых API-вызовов. - Экспериментировать с длинным контекстом на слабом железе: проверять скорость и потребление памяти при обработке больших текстов за счёт компактного состояния локальных слоёв.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "empero-ai/Quark-150M-128K-Zero"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, dtype=torch.bfloat16).to("cuda")
inputs = tok.apply_chat_template([{"role": "user", "content": "Why is the sky blue?"}], add_generation_prompt=True, return_tensors="pt", return_dict=True).to("cuda")
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
Подробнее
Метрики на внутреннем наборе задач: доля корректных ответов выросла с 12,8% до 36,4%, правильное форматирование — с 71% до 96%, решение простых терминальных задач в 15 агентских обвязках достигло 64,5% против 2,6% на старте.Обучение: менее 1300 шагов GRPO на 8×H100 при температуре 1,0 без KL-штрафа и референсной модели.
Требования:
transformers>=5.23 и флаг trust_remote_code=True (код архитектуры идёт в репозитории).Ограничения: исследовательский артефакт без продакшен-защиты; слабые знания о мире, частые ошибки в логике (включая рассуждения) и галлюцинации; точность на длинном контексте снизилась после RL с 35% до 25%; основной язык — английский.










Комментарии