Mesosfer d24 SFT
кастомная GPT-модель для инструкций, кода и агентских задач
2 мин чтения
Компактная языковая модель на базе кастомной архитектуры PyTorch GPT (d24), прошедшая этап SFT (Supervised Fine-Tuning — дообучение с учителем на готовых примерах диалогов и задач). Авторы обучили её на комбинированном датасете d24-tulu-nemotron-mix, объединяющем наборы Tülu 3 для следования инструкциям и написания кода, а также агентские данные NVIDIA Nemotron-SFT-Agentic-v4. На выходе модель умеет вести диалог, писать программный код и выполнять многошаговые инструкции. Решение подойдёт разработчикам и энтузиастам, которым нужна лёгкая локальная модель с готовым пайплайном запуска без привязки к тяжёлым стандартным фреймворкам.
Ключевые особенности
- Обучена на смеси датасетов Tülu 3 Instruction Following, Tülu 3 Code и NVIDIA Nemotron-SFT-Agentic-v4 для работы с кодом, инструкциями и агентскими сценариями.
- Построена на кастомной 24-слойной архитектуре GPT (
n_layer=24,n_head=12,n_embd=1536) с длиной контекста 2048 токенов. - Использует кастомный токенизатор на базе RustBPE / tiktoken со словарём
vocab_size=65536. - Поставляется в точности BF16 весом около 5.4 ГБ вместе с готовым скриптом
inference.pyдля быстрого старта.
Что можно сделать
- Запустить локальный консольный чат или одиночную генерацию ответов через встроенный скрипт
inference.py. - Использовать в задачах генерации и проверки базового Python-кода, например для написания вспомогательных функций.
- Тестировать в прототипах простых текстовых ассистентов и агентских цепочек с настройкой
temperatureиrepetition-penalty.
Пример
python ~/.cache/mesosfer/inference.py --prompt "Write a Python function to check if a string is a palindrome."
python ~/.cache/mesosfer/inference.py --temperature 0.2 --repetition-penalty 1.08Подробнее
Чекпоинт: d24-tulu-v1 (шаг 6431, val_bpb = 0.3940)Архитектура: 24 слоя, 12 голов внимания (n_kv_head=12), размер эмбеддинга 1536, контекст 2048, window_pattern="L"
Вес файла: ~5.4 ГБ в формате BF16, поддерживается запуск через Mesosfer с CUDA или ROCm
Язык: английский










Комментарии