gemma4-e2b-it-ConvFill-TR
турецкая модель для быстрых голосовых агентов
2 мин чтенияобновлено
Эта модель представляет собой специализированный файнтюн google/gemma-4-E2B-it на турецком языке, обученный для задачи Conversational infill (разговорного заполнения). Модель создана для роли быстрого локального агента («Talker»), который мгновенно отвечает пользователю короткими репликами и заполнителями паузы, пока более крупная облачная модель параллельно ищет информацию. Такой подход решает проблему задержек в голосовых ассистентах без потери умных возможностей бэкенда. Модель подойдет разработчикам интерактивных голосовых ботов и систем на базе архитектуры разделения труда между локальным и удаленным ассистентом.
Ключевые особенности
- Специализация на турецком языке для синтеза реплик и шлюзов диалога.
- Реализация подхода Conversational infill из исследования ConvFill для снижения задержек голосовых агентов.
- Построена на базе
google/gemma-4-E2B-itс использованием датасета из 10 000 синтетических турецких диалогов. - Доступны версии в форматах ONNX (q4f16, WebGPU) и GGUF для llama.cpp.
Что можно сделать
- Внедрить модель в качестве локального говорящего модуля («Talker») в голосового ассистента на турецком языке.
- Протестировать работу модели в связке с облачным бэкендом, передающим знания в специальном хосте во время разговора.
- Запустить модель на потребительской видеокарте в формате ONNX или GGUF для тестирования ответа в реальном времени.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "atasoglu/gemma4-e2b-it-ConvFill-TR"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.bfloat16, device_map="auto")
prompt = (
"<|turn>system\nSen Türkçe konu&an sesli bir asistansın.\n"
"<|turn>user\nYarın İstanbul'da hava nasıl olacak?\n"
"<|turn>model\n"
)
ids = tok(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=160, eos_token_id=[1, 106, 50], do_sample=False)
print(tok.decode(out[0, ids.input_ids.shape[1]:]))
Подробнее
Метрики bpb (bits per byte) на валидации: общий — 0.3661, для заполнения/пауз — 0.4642, для ответов с бэкенда — 0.3317.Обучение: 4-bit QLoRA через Unsloth (r=64, alpha=64), 1 эпоха, пиковое потребление VRAM около 8.2 ГБ.
Ограничения: только турецкий язык, факты и знания должны поступать от внешней модели, а не от локального агента.










Комментарии