s6-micro
сверхкомпактная тернарная модель весом всего 2.4 МБ
3 мин чтенияобновлено
s6-micro от разработчика maxgfr — это миниатюрная текстовая модель на 5,58 млн параметров с тернарными весами (когда веса принимают всего три значения вместо привычных дробных чисел), упакованная в файл GGUF размером 2.4 МБ. Она читает описание состояния в виде обычного текста и за один прямой проход отвечает на типизированные вопросы (choice, score, noul) с откалиброванными вероятностями. Модель обучена с нуля на Rust и является старшей версией s6-nano: во второй ревизии автор удвоил время обучения принятию решений, благодаря чему модель прошла строгий порог калибровки вероятностей, который провалила первая версия s6-micro-v1. Подойдёт разработчикам встраиваемых систем, браузерных агентов и игровых ботов, где критичны минимальный вес и работа без GPU.
Ключевые особенности
- Тернарные веса и QAT: модель обучена с нуля с применением Quantization-Aware Training (обучение с учётом квантования), что позволило уместить 5 587 201 параметр в 2.4 МБ.
- Работа в браузере и на CPU: запускается через движок
skycmdна Rust в браузере (WASM), Node.js, Python или CLI, выдавая ответ за ~9 мс в нативном режиме и ~61 мс в WASM. - Уровень оракула в четырёх играх: в закрытом цикле симуляции
sky-arenaмодель проходит Flappy Drone (200/200 труб), Rescue Run (100%) и Doom-like (100% уровней) на уровне эталонного алгоритма. - Откалиброванная уверенность: ошибка калибровки (ECE) на тестовых наборах снижена с 0.0821 в v1 до 0.0588 при допустимом пороге 0.08.
Что можно сделать
- Встроить в браузерные игры и симуляции: использовать модель как лёгкого советника для управления агентами в аркадах и 3D-сценах с жёсткими правилами безопасности поверх её решений.
- Классифицировать интенты на слабом железе: определять намерения пользователей (
MASSIVE,Banking77) в локальных сервисах без отправки данных в облако. - Управлять скоростью и глубиной вывода: настраивать порог раннего выхода (
setExitThresholdв браузере), выбирая между 2, 4 или полными 6 проходами через разделяемые блоки.
Пример
cargo install --git [https://github.com/maxgfr/skycmd](https://github.com/maxgfr/skycmd) sky-serve
skycmd decide --model s6-micro.gguf --request req.json --pretty
Подробнее
Метрики: 0.553 наtyped_decisions_bench (против 0.480 у s6-nano), 0.531 на английском MASSIVE (206 из 2000 примеров пересекались с обучающей выборкой), 0.314 на французском MASSIVE и 0.763 на Banking77.Архитектура: d=256, 4 головы внимания, словарь 4096 токенов, окна по 384 токена состояния и 128 токенов вопроса, 2 блока с общими весами, прогоняемые 3 раза.
Обучение: с нуля на Apple M5 через
mlx-rs — 180 мин предобучения (0.52B токенов), 360 мин обучения решениям с тернарным QAT и 3 раунда DAgger по 20 мин.Ограничения: работает только внутри движка
skycmd; слабо справляется с авиационными сводками NOTAM (0.092) и вызовом внешних инструментов в When2Call (0.401).









Комментарии