gemma3-270m-IT-ConvFill-EnKo

Это двуязычная (English + Korean) модель conversational infill на 270M параметров от Sky-Kim: она сразу выдаёт короткую реплику-филлер, пока большая backend-модель стримит знание, и затем перефразирует его в устную речь. База — vysri/gemma3-270m-IT-ConvFill, дополнительно дообученная на корейском переводе ConvFill и English replay.

👉 Ключевые особенности

• 💪 270M параметров, task text-generation, библиотека transformers.
• 🤫 Работает по особому шаблону: слот knowledge получает одно предложение от бэкенда или <sil>, если знание ещё не пришло.
• 🥳 На корейском отвечает по-корейски в 100% случаев против 54% у базовой английской версии.
• 🔥 Сохраняет английский: chrF «знание → речь» 63.9.
• 👀 Есть сборка Unity Sentis FP16 размером 872 MB для on-device сценариев.

😌 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Sky-Kim/gemma3-270m-IT-ConvFill-EnKo"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.float32).eval()
# промпт: user → knowledge (одно предложение или <sil>) → model
# генерация останавливается на <end_of_turn>

Подробнее

Korean held-out loss: 1.371 против 2.597 у базовой модели; English chrF: 63.9.
Обучение — полный fine-tune на Apple M5 Max, 1 ч 10 мин; веса хранятся в bf16.
Ограничения: на длинных предложениях 270M может дрейфовать, хуже копирует имена собственные и не проверяет факты; корейские данные машинно переведены с английских.
В демо на Unity Sentis первый звук появлялся в среднем через 0.34 с (EN) и 0.36 с (KO).