Lythri-Wink-2B-pt
облегчённая базовая модель на базе Gemma4
2 мин чтенияобновлено
Lythri-Wink-2B-pt — это предварительно обученная (pre-trained) базовая LLM (большая языковая модель) с общим количеством параметров 2.52B и 1.48B активированных параметров. Модель получена путём структурной урезки (shearing) Gemma4-E2B PT с последующим восстановлением методом дистилляции (переноса знаний от более крупной модели) учителя на 813M токенов. Она не предназначена для диалогов из коробки, а создана для продолжения предварительного обучения, дообучения (SFT) и исследовательских задач. Модель пригодится разработчикам и исследователям, которым нужна компактная архитектура для кастомизации.
Ключевые особенности
- Базируется на архитектуре Gemma4-E2B PT с уменьшенной до 60% шириной FFN (слоя прямой связи).
- Содержит 2.52B параметров при 1.48B активированных параметрах и 31 декомпрессионном слое.
- Обучена с контекстом в 8K токенов на наборе данных объёмом около 813M токенов.
- Распространяется по лицензии Apache License 2.0.
Что можно сделать
- Провести дообучение (supervised fine-tuning) для создания специализированного ассистента или чат-бота.
- Выполнить продолжение предварительного обучения (continued pre-training) под конкретный домен или задачу.
- Использовать в научных исследованиях по структурированной прунинге (обрезке) и дистилляции моделей.
- Создать на её основе готовую модель для генерации текста, используя код запуска из репозитория.
Пример использования
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "Lythri/Lythri-Wink-2B-pt"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
model_path,
dtype=torch.bfloat16,
device_map="auto",
)
prompt = "Once upon a time"
inputs = tokenizer(
prompt,
return_tensors="pt",
add_special_tokens=True,
).to(model.device)
with torch.inference_mode():
output = model.generate(
**inputs,
max_new_tokens=128,
do_sample=True,
temperature=0.8,
top_p=0.95,
)
print(tokenizer.decode(output[0], skip_special_tokens=True))Подробнее
Метрики на валидации: Validation KL 0.3241, Student CE 2.552, Teacher CE 2.270.Основные бенчмарки: ARC-E — 65.99, SocialIQA — 42.43.
Ограничения: является базовой моделью, не адаптирована для инструктивных диалогов, наследует ограничения базовой архитектуры.










Комментарии