SimpleFun-Gemma4-E2B-4Head-v3-BF16
компактная модель-компаньон с четырьмя каналами ответа
2 мин чтенияобновлено
Текстовая языковая модель от автора Cialtion, созданная на базе google/gemma-4-E2B-it для ролевых ИИ-компаньонов и виртуальных персонажей. В отличие от обычных LLM (больших языковых моделей), которые генерируют ответ единым потоком, здесь используются четыре отдельных канала вывода: речь персонажа, его эмоции, внутренние мысли и вызов команд. Каждый канал декодируется независимо из одного и того же контекста, но при этом они делят общие веса модели. Подойдёт разработчикам интерактивных ассистентов, игровых NPC и чат-ботов с богатой логикой поведения.
Ключевые особенности
- Четыре канала генерации: модель разделяет вывод на
(прямая речь),(выражение эмоций),(внутренний монолог персонажа) и(команды/инструменты). - Готовый merged-чекпоинт: веса LoRA (адаптера для дообучения) уже объединены с базовой моделью, поэтому при запуске не нужно подключать дополнительные PEFT-адаптеры.
- Отключение режима размышлений: протокол использует закрытый пустой блок
<|channel>thought, чтобы модель не тратила токены на системный chain-of-thought (цепочку рассуждений), а сразу переходила к нужному каналу. - Мультиязычность: заявлена поддержка английского, китайского и японского языков.
Что можно сделать
- Собрать бэкенд для ИИ-компаньона или визуальной новеллы, где реплика персонажа, его анимация/эмоция и скрытые мысли запрашиваются раздельно по одному промпту.
- Подключить вызов внешних функций и инструментов через канал
с обязательной валидацией на стороне приложения. - Развернуть быстрый инференс на сервере через
vLLMс рекомендуемой температурой сэмплирования0.7.
Пример
<|turn>system
{system}
<|turn>user
{user_json}
<|turn>model
<|channel>thought
Подробнее
База: google/gemma-4-E2B-it, формат весов BF16 (4,63 млрд сохранённых элементов тензоров с учётом PLE — per-layer embeddings).Обучение: LoRA r128 / alpha256, 1 эпоха на 16 609 диалоговых репликах; размер словаря — 262 148 токенов.
Ограничения: только текстовые веса (без аудио/изображений); при конвертации важно сохранять PLE-слои; стоп-токен —
(ID 106).









Комментарии