Elaina-gemma-4-31B-v0.1
файнтюн для иммерсивного ролеплея
2 мин чтения
Модель представляет собой объединённые веса bfloat16 на базе Gemma 4 VLM (KiyoEditz/Gemma-4-Dark-Gemistry-31B) с примерно 33 млрд параметров, дообученные для роли Илейны из аниме и ранобэ «Путешествие Илейны» (Majo no Tabitabi). Архитектура сохраняет нативные возможности мультимодальности (vision-башня заморожена), а LoRA применялась только к линейным проекциям языкового слоя. Модель поддерживает английский, индонезийский и японский языки, обеспечивая аутентичный характер, сарказм и нарратив от первого лица без выхода из роли.
Ключевые особенности
- Основана на мощной мультимодальной базе Gemma 4 31B с LoRA-настройкой параметров языковой части.
- Мультиязычная поддержка: английский, индонезийский и японский языки с набором качественных системных промптов.
- Тщательно сохранён каноничный характер Илейны: сарказм, практичность, уверенность и фирменный стиль повествования.
- В репозитории доступны GGUF-квантования разного уровня и оригинальный датасет для самостоятельного изучения.
Что можно сделать
- Запустить интерактивный ролеплей или диалоги с Илейной в поддерживаемых интерфейсах и ботах.
- Использовать модель для генерации описаний сцен ([Scene]) и художественного текста в стилистике первоисточника.
- Распаковать или скачать GGUF-версии для локального запуска на подходящем железе с помощью популярных бэкендов.
- Интегрировать модель в пайплайны через библиотеку transformers для автономных локальных скриптов.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "KiyoEditz/Elaina-gemma-4-31B-v0.1"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model.eval()Подробнее
Бенчмарки и результаты: финальный train_loss составляет 1.6480, eval_loss равен 2.3286 на валидации.Железо: обучение заняло менее 6 часов на GPU NVIDIA RTX PRO 6000 Blackwell (94.97 GB VRAM), остановлено на шаге 1700 из 3000.
Ограничения: кастомная некоммерческая лицензия (Non-Commercial Custom License), модель оптимизирована под художественный стиль, а не под фактическую точность.










Комментарии