Seb AI S1 Mini (350M)
компактная LLM на архитектуре Llama, обученная с нуля
2 мин чтенияобновлено
Seb AI S1 Mini — небольшая открытая языковая модель для генерации текста и ответов на вопросы в формате диалога. Проект создан автором Sebestianmek (Seb AI Inc.) на базе стандартной архитектуры LlamaForCausalLM (409 млн параметров) и обучен полностью с нуля со случайной инициализацией весов на обучающих данных формата «вопрос — ответ». В отличие от привычных компактных моделей, которые дообучают на готовых весах, это самостоятельный чекпоинт под свободной лицензией Apache 2.0. Подойдёт разработчикам и энтузиастам для локального запуска на слабом железе и быстрого дообучения под свои задачи.
Ключевые особенности
- Обучение с нуля: веса инициализированы случайно и обучены на образовательном инструктивном датасете формата Q&A.
- Архитектура Llama: совместима с популярными фреймворками дообучения — Unsloth, LLaMA-Factory, Axolotl и Hugging Face TRL.
- Компактный размер: около 409 млн параметров (класс 350M) и длина контекста 512 токенов.
- Открытая лицензия: распространяется под Apache 2.0 без ограничений на использование и модификацию.
Что можно сделать
- Использовать как лёгкую базовую модель для экспериментов с файнтюнингом (дообучением на своих данных) в Unsloth или TRL.
- Встроить в локального чат-бота или прототип на английском языке для ответов на простые вопросы.
- Запускать на системах с жёсткими ограничениями по памяти, где модели на 7B+ параметров не помещаются.
Пример
from transformers import pipeline
pipe = pipeline("text-generation", model="Sebestianmek/Seb-AI-S1-Mini-350M")
output = pipe("User: Hello! Who made you?\nAssistant:", max_new_tokens=100, do_sample=True, temperature=0.7)
print(output["generated_text"])
Подробнее
Параметры: ~409M (класс 350M), архитектура LlamaForCausalLM.Контекст: 512 токенов; основной язык — английский.
Формат промпта:
User: ...\nAssistant:.Лицензия: Apache 2.0; бенчмарки и требования к VRAM в карточке не указаны.










Комментарии