К содержимому
Другое

relay-gemma-4-e4b-food

офлайн-трекер питания на базе Gemma 4

2 мин чтенияобновлено

Модель превращает свободные текстовые описания приёмов пищи (например, «два куска тоста с маслом») в структурированные записи для Android-дневника питания Relay. В основе лежит google/gemma-4-E4B-it-qat-q4_0-unquantized от Google, дообученная автором Killerfuzzball через LoRA (небольшую надстройку над базовой моделью) с последующим слиянием весов и упаковкой под мобильный движок LiteRT-LM. В отличие от стандартной Gemma 4 E4B, эта версия точнее соблюдает нужный формат ответа, аккуратно переносит цифры с этикеток и лучше справляется с оценкой порций. Пригодится разработчикам мобильных приложений для здоровья и локальных ИИ-ассистентов без доступа к интернету.

Ключевые особенности

  • Построена на google/gemma-4-E4B-it-qat-q4_0-unquantized с дообучением через LoRA (rank 16) на ~330 описаниях еды по эталонным ответам от старшей модели Gemma 4 12B.
  • Упакована в один файл e4b-relay-trained.litertlm весом около 4.6 ГБ для локального запуска прямо на смартфоне через LiteRT-LM.
  • Обучалась именно формату ответа: точные цифры с упаковок копирует без искажений, а брендированные продукты помечает для поиска.
  • На внутреннем тесте из 50 фраз показала 10/10 точных расчётов по этикеткам (против 8/10 у базовой Google E4B) и меньшую погрешность во всех 7 тестовых группах.

Что можно сделать

  • Встроить файл e4b-relay-trained.litertlm в Android-приложение или прототип дневника калорий для офлайн-разбора заметок о еде.
  • Использовать как готовый пример дистилляции формата ответов от более крупной модели (Gemma 4 12B) в компактную мобильную сборку LiteRT-LM.

Пример

Входной запрос пользователя: «two slices of toast with butter» («два куска тоста с маслом»). На выходе модель формирует структурированные записи продуктов для дневника питания Relay, отмечая оценочные значения как приблизительные, а данные с этикеток — перенося без изменений.

ПодробнееВес файла: около 4.6 ГБ (квантование int4 блоками по 32 через litert-torch 0.10.0, сборка litert-lm-builder 0.18.1).
Скорость: работает примерно в 1.45 раза медленнее оригинальной сборки Google E4B из-за другого набора числовых форматов.
Ограничения: расчётные значения являются приблизительной оценкой и не служат медицинской или диетологической рекомендацией.
Лицензия: Apache 2.0.
Обсудить Telegram 0 20

Запустится ли?

Запустится в GGUF Q4_0

Влезает самая точная из готовых сжатых версий.

  • GGUF Q4_0веса 4.8 GB · готовые файлы5.8 GB

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: GGUF Q4_0 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Killerfuzzball/relay-gemma-4-e4b-food
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Killerfuzzball/relay-gemma-4-e4b-food --local-dir ~/models/relay-gemma-4-e4b-food
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к relay-gemma-4-e4b-food
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

  1. gemma-4-E4Bоснова семьи
  2. gemma-4-E4B-it
  3. gemma-4-E4B-it-qat-q4_0-unquantized
  4. relay-gemma-4-e4b-food

Новые посты про версии gemma-4-E4B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 8Все на Hugging Face

О модели

Killerfuzzball/relay-gemma-4-e4b-food
Автор
Killerfuzzball
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

200

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Другое

Relay-Forcing

Relay-Forcing
Языковые модели

HeliosLM HDL E4B

HeliosLM HDL E4B
Языковые модели

SautiLM Jua

SautiLM Jua