SILY-1 Chat
компактная MoE-модель для диалогов
2 мин чтенияобновлено
SILY-1 Chat — это языковая модель на базе смеси экспертов (MoE, архитектура с разделением вычислений на независимые подсети), обученная поддерживать диалог. Модель содержит 476.9 млн параметров в сумме, но на каждый токен задействует только 113.5 млн. Проект создан на базе SILY-1 Base и обучен на почти двух миллионах диалогов всего за 53 часа на одной видеокарте RTX 3060. Модель выдает связные ответы по теме, но может ошибаться в фактах и арифметике. Она подойдет разработчикам, изучающим обучение компактных нейросетей.
Ключевые особенности
- Архитектура MoE: 253 эксперта на банк и по 4 активных на каждый токен для эффективной работы.
- Контекст до 1,024 токенов и токенизатор на 12,288 токенов.
- Обучение на 1.98 млн строк чатов (1.05 млрд токенов) за одну эпоху.
- Лицензия Apache 2.0 для свободного использования.
Что можно сделать
- Запустить многосессионный чат в командной строке с помощью скрипта
chat.py. - Интегрировать модель в Python-скрипты для генерации коротких ответов и стихов.
- Настроить параметры сэмплирования (температуру, штрафы за повторяемость) для экспериментов с текстом.
Пример
import torch
from tokenizers import Tokenizer
import chat
from generate import SamplerConfig, special_ids
from modeling import load_model
device = 'cuda' if torch.cuda.is_available() else 'cpu'
model, config = load_model('model.pt', device)
tok = Tokenizer.from_file('tokenizer.json')
tok.encode_special_tokens = True
ids = chat.chat_ids(tok)
stop = ids['eass']
cfg = SamplerConfig(temperature=0.7, min_p=0.03, presence_penalty=0.3)
messages = [{'role': 'user', 'content': 'Write a short poem about the ocean.'}]
for r in chat.replies(model, tok, ids, messages, cfg, seeds=[0]):
print(r['reply'])
Подробнее
Бенчмарки: Потеря на отложенной выборке (held-out loss) снизилась с 1.747 до 1.198 натов на токен после настройки.Железо: Для обучения использовалась одна видеокарта RTX 3060 (12 ГБ), пиковое потребление памяти составило 9.6 ГБ.
Ограничения: Факты и арифметика ненадежны, длинные контексты обрезаются до 1,024 токенов.
Детали обучения: Оптимизатор AdamW, 3,866 шагов, батч по 512 строк, косинусное затухание скорости обучения.










Комментарии