jdi-ptr14-causal-soup3-0.8b
компактная decision-модель на базе Qwen3.5-0.8B
2 min readupdated
Текстовая модель для принятия решений (text-classification), построенная на базе Qwen3.5-0.8B от автора AnamK. Вместо генерации текста или работы с изображениями она использует каузальное внимание (causal attention), первые 14 из 24 трансформерных блоков базы, финальный слой RMSNorm и обученную билинейную pointer head. Итоговые веса собраны методом model soup — усреднением дельт весов трёх LoRA-адаптеров с разными сидами, что позволяет сохранять точность арифметики BF16 без ансамблирования выходов на инференсе. Модель пригодится исследователям и разработчикам, которым нужен быстрый лёгкий классификатор или роутер решений без запуска полноразмерной LLM.
Ключевые особенности
- Урезанная архитектура: используются только первые 14 из 24 слоёв Qwen3.5-0.8B — остальные блоки отбрасываются рантаймом перед загрузкой на GPU.
- Model soup из трёх сидов: усреднены эффективные дельты весов (rank-48 конкатенация трёх LoRA ранга 16) и сама pointer head.
- Точная BF16-арифметика: факторы хранятся отдельно от базовых весов в
adapter.safetensors, поэтому модель не является обычным PEFT-адаптером или ансамблем выходов. - Только решения, без генерации: модель не поддерживает генерацию текста и мультимодальный ввод (vision).
Что можно сделать
- Встроить в пайплайн маршрутизации запросов или принятия бинарных/списочных решений в текстовых сервисах, где важна низкая задержка и минимальный расход памяти GPU.
- Использовать в исследовательских экспериментах по обрезке слоёв (layer pruning) и объединению LoRA-весов (model soup) на компактных языковых моделях.
Пример
Стандартный вызов через generate() или обычный автоклассификатор transformers здесь не сработает. Для запуска требуется специализированный рантайм из директории operator/README.md, который при загрузке отбрасывает блоки 14–23 базовой модели Qwen3.5-0.8B, применяет факторы из adapter.safetensors и подключает кастомную pointer head.
Подробнее
Базовая модель: Qwen/Qwen3.5-0.8B (0.75B параметров в полном чекпоинте, в работе используются 14 из 24 блоков).Дообучение: 221 779 примеров, по 2 эпохи на сиды 0, 1 и 2 с rank-16 LoRA (scale 2).
Ограничения: для инференса нужен кастомный код оператора; стандартные пайплайны генерации и классификации не поддерживаются.
Лицензия: только для некоммерческого и исследовательского использования (inherited noncommercial/research terms).










Comments