Supra2.5-Pro-Instruct
сверхкомпактная LLM на 65M параметров
2 мин чтенияобновлено
Supra2.5-Pro-Instruct — крошечная языковая модель от SupraLabs, дообученная для ведения диалогов и выполнения базовых инструкций. Она основана на базовой версии Supra2.5-Pro-Base, насчитывает всего 65 миллионов параметров (около 0.07B) и работает на английском языке. В отличие от крупных моделей, эта версия ориентирована на максимально лёгкий локальный инференс (запуск модели на устройстве пользователя) и поддерживает стандартный шаблон чата ChatML. Подойдёт разработчикам и энтузиастам для экспериментов со сверхмалыми моделями или запуска на очень слабом железе.
Ключевые особенности
- Минимальный размер: всего 65M параметров, что позволяет запускать модель локально с минимальными затратами ресурсов.
- Обучение на синтетике: модель прошла файнтюнинг (дообучение) в течение 2 эпох на почти 9000 синтетических диалогах, сгенерированных DeepSeek V4.1 Flash 1017 с использованием промптов из SmolTalk2.
- Готовые квантизации: помимо оригинальных весов доступны оптимизированные форматы GGUF (F16, Q8_0 и Q4_K_M) для быстрого запуска через llama.cpp и совместимые клиенты.
- Без цензуры и выравнивания: авторы отмечают, что модель не проходила safety-alignment (настройку безопасности ответов) или оптимизацию предпочтений.
Что можно сделать
- Запустить локального чат-бота на слабом ПК: использовать версии GGUF Q4_K_M или Q8_0 для простых повседневных бесед на английском языке без видеокарты.
- Протестировать базовый код и математику: использовать модель как сверхбыстрый черновик для элементарных задач программирования и простых вычислений, указанных в её возможностях.
- Встроить в собственный пайплайн: использовать модель как лёгкий компонент с шаблоном ChatML, предварительно добавив внешний фильтр безопасности перед показом ответов пользователям.
Пример
Диалог из карточки модели демонстрирует её стиль общения и склонность к галлюцинациям в фактах при малом размере:
User: How are you?
Supra: I'm running well, thanks for asking! As a compact language model, I don't have feelings or memory across separate chats. What can I help you with today?
Подробнее
Параметры: 65M (0.07B), язык — английский.Обучение: 2 эпохи на ~9000 диалогах от DeepSeek V4.1 Flash 1017 (база промптов SmolTalk2).
Форматы и запуск: совместима с transformers и шаблоном ChatML, доступны GGUF-версии F16, Q8_0 и Q4_K_M.
Ограничения: отсутствует safety-alignment, из-за малого размера модель допускает фактические ошибки (например, в биографии Эйнштейна в примерах карточки).










Комментарии