Futuro Orion
Gemma 4 E2B IT: GGUF-сплит для браузера
2 мин чтенияобновлено
Это не новая LLM, а проверенный сплит официального GGUF-конверта Gemma 4 E2B IT в Q4_0 от Google DeepMind. Веса разрезаны официальным llama-gguf-split на два шарда меньше 2 ГБ, чтоб�� их мог загрузить браузерный WASM-рантайм Wllama 3.13.0. На выходе — локальный текстовый инференс в браузере без сервера: загружаешь первый шард, остальные подхватываются по имени файла. Подходит для веб-демо и приложений, где нужна небольшая модель на CPU. Это только текст: мультимодальный проектор для аудио и vision не включён.
Ключевые особенности
- Оригинальные байты
gemma-4-E2B-it-Q4_0.gguf— без переквантования и изменений. - Два шарда: 1,36 ГБ и 1,48 ГБ, оба меньше 2 ГБ; всего 2 841 481 408 байт.
- Для Wllama и llama.cpp WASM: грузить первый шард, остальные находятся по шаблону
-NNNNN-of-NNNNN.gguf. - Только текст: аудио и изображения не поддерживаются,
mmprojнамеренно не входит. - Сплит lossless: 541 тензор совпадает, SHA-256 данных идентичен оригиналу.
Что можно сделать
- Собрать браузерный чат или ассистента на Wllama с кэшем модели в браузере.
- Запустить локально через
llama-cliна ноутбуке с 8 ГБ ОЗУ на CPU. - Сделать офлайн-демо без серверного инференса и без отправки текста наружу.
- Проверить пайплайн split/merge и сверить контрольные суммы шардов.
Пример
import { Wllama } from '@wllama/wllama';
const wllama = new Wllama({ default: '/wasm/wllama.wasm' });
await wllama.loadModelFromHF(
{ repo: 'lumorayt/futuro-orion-gemma-4-E2B-it-GGUF', file: 'gemma-4-E2B-it-Q4_0-00001-of-00002.gguf' },
{ n_ctx: 4096, n_batch: 128, n_threads: 4, n_gpu_layers: 0, useCache: true },
);
Подробнее
Шарды: 1 364 522 848 и 1 476 958 560 байт.Нужно около 2,8 ГБ кэша и несколько ГБ свободной RAM; на 8 ГБ ноутбуке работает на CPU.
Контекст 4096 — консервативный выбор автора.
Лицензия Apache-2.0, права Google DeepMind; репозиторий не аффилирован с Google.










Комментарии