Lythri-Wink-2B
компактная LLM для живого общения на локальных устройствах
2 min readupdated
Lythri-Wink-2B — лёгкая языковая модель из семейства Lythri 2.0, созданная для естественных диалогов и эмоциональной поддержки прямо на устройстве пользователя. Она построена на базе Gemma 4 E2B, имеет 2,52 млрд общих параметров (из которых при генерации активируются 1,48 млрд) и распространяется под лицензией Apache 2.0. В отличие от старшей версии Lythri-Tada-4B, новинка жертвует сложной логикой, математикой и кодингом ради минимальных требований к ресурсам, но сохраняет поддержку системных промптов и многоходовых диалогов. Подойдёт разработчикам локальных чат-ботов, виртуальных компаньонов и мобильных приложений с офлайн-режимом.
Ключевые особенности
- Компактный размер: всего 2,52B параметров (1,48B активных), что позволяет запускать модель локально на слабом железе.
- Обучение на диалогах: дообучена на многоходовых беседах с учётом контекста прошлых реплик и с фокусом на естественный стиль речи.
- Поддержка System Prompt: позволяет задавать персонажу характер, тон и правила поведения через системное сообщение.
- Прямые ответы без размышлений: использует этап instant-reply SFT (дообучение на быстрые ответы), чтобы отвечать сразу по делу.
Что можно сделать
- Встроить в локального или мобильного AI-компаньона, который работает без отправки переписки в облако.
- Настроить через системный промпт персонажа с нужной манерой речи для диалогового бота или интерактивного приложения.
- Использовать в проектах, где важнее живой и эмпатичный тон беседы, чем решение математических или программных задач.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "Lythri/Lythri-Wink-2B"
tok = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "I had a really rough day at work."}]
inputs = tok(tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True), return_tensors="pt").to(model.device)Подробнее
Бенчмарки (в формате Q8_0 GGUF): HellaSwag — 58.65, SocialIQA — 45.24, ARC-C — 41.13, MMLU — 39.32, GSM8K — 13.04, HumanEval — 7.93.Пайплайн обучения: структурное прореживание Gemma4-E2B PT, дистилляция от модели-учителя, CoT SFT, instant-reply SFT на диалогах и оптимизация предпочтений с оценкой через Gemma2-27B.
Ограничения: не предназначена для математики, программирования и сложного рассуждения; не заменяет профессиональную психологическую помощь.










Comments