voidx-decider-12b
специализированный LoRA-адаптер для задач классификации и принятия решений
2 мин чтения
Модель voidx-decider-12b создана на базе google/gemma-4-12B-it разработчиком upfall-co и обучена выдавать откалиброванные вероятности для вариантов ответа вместо свободной генерации текста. Она оценивает вероятность каждого токена метки на фиксированной позиции ответа и поддерживает тексты на английском и корейском языках. Адаптер ориентирован на задачи классификации, онтологического сопоставления и оценки состояния в пайплайнах обработки данных. Для запуска потребуется базовая модель Gemma 4 12B и библиотека PEFT (небольшая надстройка над базовой моделью для эффективного дообучения).
Ключевые особенности
- Откалиброванные вероятности: считывает вероятности токенов меток на позиции ответа вместо генерации текста.
- Мультиязычность: полноценная поддержка запросов на английском и корейском языках.
- Эффективная архитектура: LoRA-адаптер (r=32, alpha=64) поверх 12-миллиардной языковой модели.
- Доступность форматов: помимо исходных весов, доступна объединенная версия Q4_K_M GGUF.
Что можно сделать
- Интеграция в пайплайны: использовать в сервисах автоматической классификации документов и текста по категориям.
- Онтологическое сопоставление: применять модель для привязки сущностей к элементам таксономий и классификаторов.
- Анализ состояний: решать задачи отслеживания состояний и принятия логических решений в ботах и приложениях.
- Локальный запуск: развернуть GGUF-версию через
llama-serverдля быстрой обработки структурированных запросов.
Пример
Пример загрузки модели с помощью библиотеки PEFT в Python:
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained(
"google/gemma-4-12B-it", revision="707f0a3b8a3c7ad586ed01e27eafbad8a27dd0f7",
torch_dtype="bfloat16", device_map="auto")
model = PeftModel.from_pretrained(base, "upfall-co/voidx-decider-12b")
tok = AutoTokenizer.from_pretrained("google/gemma-4-12B-it",
revision="707f0a3b8a3c7ad586ed01e27eafbad8a27dd0f7")
Подробнее
Метрики валидации: точность 0.822, ECE 0.028.Обучение: 1 эпоха на ~14,5k примеров с использованием одного ускорителя H100 80GB за 90 минут.
Ограничения: уязвима к прямым промпт-инъекциям (выбирает указанный вариант в 98% случаев), склонна выбирать категорию в онтологиях IPTC даже при отсутствии подходящего варианта, чувствительна к порядку опций.
Лицензия: Apache-2.0.










Комментарии