К содержимому
Языковые модели

s6-micro

сверхкомпактная тернарная модель весом всего 2.4 МБ

3 мин чтенияобновлено

s6-micro от разработчика maxgfr — это миниатюрная текстовая модель на 5,58 млн параметров с тернарными весами (когда веса принимают всего три значения вместо привычных дробных чисел), упакованная в файл GGUF размером 2.4 МБ. Она читает описание состояния в виде обычного текста и за один прямой проход отвечает на типизированные вопросы (choice, score, noul) с откалиброванными вероятностями. Модель обучена с нуля на Rust и является старшей версией s6-nano: во второй ревизии автор удвоил время обучения принятию решений, благодаря чему модель прошла строгий порог калибровки вероятностей, который провалила первая версия s6-micro-v1. Подойдёт разработчикам встраиваемых систем, браузерных агентов и игровых ботов, где критичны минимальный вес и работа без GPU.

Ключевые особенности

  • Тернарные веса и QAT: модель обучена с нуля с применением Quantization-Aware Training (обучение с учётом квантования), что позволило уместить 5 587 201 параметр в 2.4 МБ.
  • Работа в браузере и на CPU: запускается через движок skycmd на Rust в браузере (WASM), Node.js, Python или CLI, выдавая ответ за ~9 мс в нативном режиме и ~61 мс в WASM.
  • Уровень оракула в четырёх играх: в закрытом цикле симуляции sky-arena модель проходит Flappy Drone (200/200 труб), Rescue Run (100%) и Doom-like (100% уровней) на уровне эталонного алгоритма.
  • Откалиброванная уверенность: ошибка калибровки (ECE) на тестовых наборах снижена с 0.0821 в v1 до 0.0588 при допустимом пороге 0.08.

Что можно сделать

  • Встроить в браузерные игры и симуляции: использовать модель как лёгкого советника для управления агентами в аркадах и 3D-сценах с жёсткими правилами безопасности поверх её решений.
  • Классифицировать интенты на слабом железе: определять намерения пользователей (MASSIVE, Banking77) в локальных сервисах без отправки данных в облако.
  • Управлять скоростью и глубиной вывода: настраивать порог раннего выхода (setExitThreshold в браузере), выбирая между 2, 4 или полными 6 проходами через разделяемые блоки.

Пример

cargo install --git [https://github.com/maxgfr/skycmd](https://github.com/maxgfr/skycmd) sky-serve
skycmd decide --model s6-micro.gguf --request req.json --pretty
Подробнее Метрики: 0.553 на typed_decisions_bench (против 0.480 у s6-nano), 0.531 на английском MASSIVE (206 из 2000 примеров пересекались с обучающей выборкой), 0.314 на французском MASSIVE и 0.763 на Banking77.
Архитектура: d=256, 4 головы внимания, словарь 4096 токенов, окна по 384 токена состояния и 128 токенов вопроса, 2 блока с общими весами, прогоняемые 3 раза.
Обучение: с нуля на Apple M5 через mlx-rs — 180 мин предобучения (0.52B токенов), 360 мин обучения решениям с тернарным QAT и 3 раунда DAgger по 20 мин.
Ограничения: работает только внутри движка skycmd; слабо справляется с авиационными сводками NOTAM (0.092) и вызовом внешних инструментов в When2Call (0.401).
Обсудить Telegram 0 26

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # maxgfr/s6-micro
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download maxgfr/s6-micro --local-dir ~/models/s6-micro
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к s6-micro
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

  • MTP (multi-token prediction)0.34.0от 16 ноября 2026новая версия

    1.5–2× скорость генерации

    Если в модели есть MTP-слои (DeepSeek-V3/R1, Qwen3-Next, GLM, MiMo и др.), она сама предсказывает несколько токенов за шаг.

    Как включить: vLLM / SGLang: --speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'. Смотрите карточку модели.

    Предыдущие поколения (2)
    • EAGLE-3 — Спекулятивное декодирование с маленькой «черновой» головой. Для моделей без своих MTP-слоёв.
    • EAGLE-2 / Medusa — Предыдущие поколения драфт-голов. Если нашли только их — тоже работают.
  • FP8 KV cache0.34.0от 16 ноября 2026новая версия

    в 2× больше контекста в той же памяти

    Хранит кэш внимания в 8 битах — длинный контекст влезает туда, где раньше не помещался.

    Как включить: vLLM: --kv-cache-dtype fp8; llama.cpp: -ctk q8_0 -ctv q8_0.

  • vLLM / SGLang0.34.0от 16 ноября 2026новая версия

    в разы больше токенов/с на сервере

    Серверные движки: пакетная обработка, FlashAttention, FP8, спекулятивное декодирование из коробки.

    Как включить: vllm serve <модель> — OpenAI-совместимый API.

    Предыдущие поколения (1)
    • llama.cpp — GGUF-модели на любой видеокарте, Mac и даже CPU; часть слоёв можно держать в ОЗУ.

Семья модели

Новые посты про версии s6-micro — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

maxgfr/s6-micro
Автор
maxgfr
Категория
Языковые модели
Дата выхода
На сайте

На сайте

Hugging Face

260

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Изображения

Add Micro Details

Add Micro Details18+