Opusculum-1.5B
компактная языковая модель для качественного генеративного текста
2 мин чтенияобновлено
Модель Opusculum-1.5B представляет собой полноценный файнтюн (дообученная версия) базовой модели unsloth/Qwen2.5-1.5B-bnb-4bit, выполненный на тех же наборах данных, которые использовались для тренировки anthracite-org/magnum-v4-9b. Модель разработана автором Stoned-Code и создана для генерации текстового контента на английском языке с упором на творческие задачи. Благодаря небольшому размеру в 1.54 миллиарда параметров она отлично подходит для локального запуска на потребительских видеокартах, сохраняя при этом хорошую отзывчивость и качество генерации, унаследованные от линейки Qwen и датасетов Magnum.
Ключевые особенности
- База Qwen2.5: использует мощную архитектуру и токенизатор эффективной языковой модели на 1.5B параметров.
- Датасеты Magnum: обучена на специализированных датасетах от
anthracite-org/magnum-v4-9bдля улучшенной работы с текстом. - Полноценный файнтюн: полная переподготовка весов, а не легкая LoRA-надстройка.
- Эффективное обучение: модель тренировалась на одной видеокарте с использованием оптимизаций Unsloth.
Что можно сделать
- Локальный ассистент: развернуть модель в текстовых интерфейсах или ботах для генерации креативных историй и диалогов.
- Творческое письмо: использовать модель для помощи в написании художественных текстов и сценариев на английском языке.
- Эксперименты с легкими LLM: протестировать поведение компактной модели с датасетами от Magnum в локальных проектах.
Пример
Для запуска и инференса модели можно использовать библиотеку unsloth или стандартный пайплайн генерации Hugging Face Transformers для загрузки квантованной или базовой версии.
Подробнее
Базовая модель: unsloth/Qwen2.5-1.5B-bnb-4bitПараметры: 1.54 млрд
Контекст: max_seq_length 8192
Обучение: 3 эпохи, batch_size 2, lr 0.00002, optim: adamw_bnb_8bit
Оборудование: тренировка на одной видеокарте с 16GB VRAM










Комментарии