К содержимому
Другое

Futuro Orion

Gemma 4 E2B IT: GGUF-сплит для браузера

2 мин чтенияобновлено

Это не новая LLM, а проверенный сплит официального GGUF-конверта Gemma 4 E2B IT в Q4_0 от Google DeepMind. Веса разрезаны официальным llama-gguf-split на два шарда меньше 2 ГБ, чтоб�� их мог загрузить браузерный WASM-рантайм Wllama 3.13.0. На выходе — локальный текстовый инференс в браузере без сервера: загружаешь первый шард, остальные подхватываются по имени файла. Подходит для веб-демо и приложений, где нужна небольшая модель на CPU. Это только текст: мультимодальный проектор для аудио и vision не включён.

Ключевые особенности

  • Оригинальные байты gemma-4-E2B-it-Q4_0.gguf — без переквантования и изменений.
  • Два шарда: 1,36 ГБ и 1,48 ГБ, оба меньше 2 ГБ; всего 2 841 481 408 байт.
  • Для Wllama и llama.cpp WASM: грузить первый шард, остальные находятся по шаблону -NNNNN-of-NNNNN.gguf.
  • Только текст: аудио и изображения не поддерживаются, mmproj намеренно не входит.
  • Сплит lossless: 541 тензор совпадает, SHA-256 данных идентичен оригиналу.

Что можно сделать

  • Собрать браузерный чат или ассистента на Wllama с кэшем модели в браузере.
  • Запустить локально через llama-cli на ноутбуке с 8 ГБ ОЗУ на CPU.
  • Сделать офлайн-демо без серверного инференса и без отправки текста наружу.
  • Проверить пайплайн split/merge и сверить контрольные суммы шардов.

Пример

import { Wllama } from '@wllama/wllama';

const wllama = new Wllama({ default: '/wasm/wllama.wasm' });
await wllama.loadModelFromHF(
  { repo: 'lumorayt/futuro-orion-gemma-4-E2B-it-GGUF', file: 'gemma-4-E2B-it-Q4_0-00001-of-00002.gguf' },
  { n_ctx: 4096, n_batch: 128, n_threads: 4, n_gpu_layers: 0, useCache: true },
);
ПодробнееШарды: 1 364 522 848 и 1 476 958 560 байт.
Нужно около 2,8 ГБ кэша и несколько ГБ свободной RAM; на 8 ГБ ноутбуке работает на CPU.
Контекст 4096 — консервативный выбор автора.
Лицензия Apache-2.0, права Google DeepMind; репозиторий не аффилирован с Google.
Обсудить Telegram 0 34

Запустится ли?

Запустится в GGUF Q4_0

Влезает самая точная из готовых сжатых версий.

  • GGUF Q4_0веса 2.6 GB · готовые файлы3.4 GB

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: GGUF Q4_0 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # lumorayt/futuro-orion-gemma-4-E2B-it-GGUF
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download lumorayt/futuro-orion-gemma-4-E2B-it-GGUF --local-dir ~/models/futuro-orion-gemma-4-E2B-it-GGUF
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к futuro-orion-gemma-4-E2B-it-GGUF
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии futuro-orion-gemma-4-E2B-it-GGUF — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

lumorayt/futuro-orion-gemma-4-E2B-it-GGUF
Автор
lumorayt
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

340

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Аудио

SOV-Transcribe-1

SOV-Transcribe-1