DeepSeek-V4.1-Flash-1017-Orca-Sushi-STQ-1.75bpw
260B модель в формате Sushi для запуска на 48 ГБ памяти
2 мин чтенияобновлено
Эта модель представляет собой конвертацию orcarouter/DeepSeek-V4.1-Flash-1017-abliterated-GGUF (очищенной от отказов версии на базе DeepSeek-V4.1-Flash-1017 на 260.06 млрд параметров) в нативный формат движка Sushi от автора sanasol2008. В её основе лежит архитектура MoE (Mixture of Experts — разреженная смесь экспертов), где маршрутизируемые эксперты сжаты до 1.75 бита на вес (1.75bpw). Благодаря стримингу экспертов с SSD такой объём удаётся поднять даже на локальной машине без серверного кластера.
Ключевые особенности
- Ультракомпактное кодирование экспертов: все маршрутизируемые эксперты перекодированы в формат PAIR1-w16-v1 со средним весом 1.75bpw, а плотный ствол (trunk) сохранён в SPEC1-w15 и F32.
- Поддержка русского и английского языков с сохранением оригинального шаблона чата (chat template) из донорской модели.
- Самостоятельный полный пакет (standalone ROOT) на 1124 файла общим объёмом ~332.5 ГБ с проверкой целостности через SHA256-манифест.
- Совместимость с движком Sushi v1.6.0, включая OpenAI-совместимый API и встроенный веб-интерфейс чата.
Что можно сделать
- Развернуть локальный OpenAI-совместимый сервер (
/v1/chat/completions) на Apple Silicon Mac с 48 ГБ объединённой памяти и быстрым SSD. - Использовать для генерации текста и диалогов без встроенных цензурных отказов (abliterated-версия), отключая режим рассуждений через
chat_template_kwargsдля ускорения ответа. - Подключать к локальным агентам, скриптам и чат-интерфейсам через встроенный UI или стандартные HTTP-запросы.
Пример
sushi repack ./orca && sushi repack ./orca --check
sushi serve --model ./orca --host 127.0.0.1 --port 12453 \
--ctx-size 2048 --ssd-budget-gb 24 --no-mtp --no-vision
Подробнее
Объём файлов: ~332.5 ГБ (1124 файла в pinned-коммите); 1.75bpw относится только к маршрутизируемым экспертам.Железо и скорость: проверено на Mac с 48 ГБ RAM (бюджет SSD-кэша 24 ГБ, RSS ~16.7 ГБ), скорость генерации в тесте — 1.5–2.5 токена/с.
Ограничения: двойное квантование (из GGUF в Sushi), 4 эксперта не откалиброваны, модули DSpark/MTP отсутствуют, полномасштабные бенчмарки качества ещё не завершены.










Комментарии