Converse 1.3
компактная языковая модель в формате GGUF
2 мин чтенияобновлено
Converse 1.3 — это дообученная текстовая языковая модель на 1,5 млрд параметров от независимого проекта dgAI. Она создана на базе Qwen2.5-1.5B-Instruct с использованием метода LoRA (низкоранговой адаптации весов) во фреймворке Unsloth и сразу подготовлена для локального запуска. Благодаря плотной архитектуре (dense) и формату GGUF модель подходит для работы на устройствах с ограниченными ресурсами, сохраняя контекстное окно до 32 768 токенов.
Ключевые особенности
- База и архитектура: построена на основе Qwen2.5-1.5B-Instruct с плотной архитектурой трансформера, где при генерации задействуются все 1,5B параметров.
- Готовность к локальному запуску: распространяется в формате GGUF, что упрощает интеграцию с совместимыми локальными движками инференса.
- Эффективное дообучение: тренировалась через Unsloth с 4-битной загрузкой весов, параметрами LoRA Rank 16 / Alpha 16 и таргетированием слоёв внимания и MLP.
- Контекстное окно: поддерживает работу с контекстом до 32 768 токенов.
Что можно сделать
- Развернуть локального текстового ассистента на компьютере или сервере без мощной видеокарты через любой софт с поддержкой GGUF (например, llama.cpp или Ollama).
- Использовать модель как лёгкую основу для экспериментов с диалоговыми задачами и генерацией текста в локальных пайплайнах.
Пример
В карточке модели не приведён готовый код запуска. Для работы загрузите файл весов формата .gguf из репозитория и подключите его в вашем локальном рантайме (например, llama.cpp или совместимом UI) для генерации ответов в текстовом диалоге с лимитом контекста до 32 768 токенов.
Подробнее
Базовая модель: Qwen2.5-1.5B-Instruct (1.5B параметров).Детали обучения: LoRA (Rank 16, Alpha 16, Dropout 0), максимальная длина последовательности при обучении — 2 048 токенов.
Ограничения: заявленное в дорожной карте окно в 500K токенов относится к будущей версии Converse 1.4 и недоступно в данном релизе.










Комментарии