Wildcat-d3-ultra-bf16
полные bf16-веса для d3-ultra без распаковки на лету
2 min readupdated
Модель Wildcat-d3-ultra-bf16 от BoldingBuilds решает задачи zero-shot-классификации (классификации запросов без предварительного дообучения под конкретные классы) и оценки запросов в рамках бенчмарка Decision Index. Она основана на архитектуре vllm-sr/d3-ultra объёмом 26.09 млрд параметров и представляет собой заранее распакованную в формат bf16 версию модели Wildcat-d3-ultra-3bit со вшитым адаптером LoRA (небольшой надстройкой, исправляющей точность после квантования). В отличие от 3-битного релиза, здесь распаковка слоёв и слияние весов уже выполнены заранее, поэтому модель запускается штатным движком d3-ultra без лишних зависимостей и задержек на конвертацию. Подойдёт разработчикам и исследователям с производительными GPU, которым нужна готовая к продакшену bf16-версия для маршрутизации и классификации запросов.
Ключевые особенности
- Полная совместимость со стандартным рантаймом
d3-ultra(d3_engine,modeling_d3.py,pipeline_d3.py) — файлы среды выполнения побайтово идентичны оригиналу. - Все 400 сжатых линейных слоёв из 3-битной версии уже распакованы в
bf16, а исправляющая LoRA вмерджена в основные веса. - Пройдена строгая верификация шардов: имена, формы и типы всех 1 183 тензоров совпадают со схемой
d3-ultra, а ответы на проверочных запросах совпадают с эталонным прогоном. - На публичном бенчмарке Decision Index 0.3 модель набирает 70.66 балла на полной выборке из 140 178 запросов.
Что можно сделать
- Развернуть как готовый движок zero-shot-классификации и оценки запросов в
d3_engineна серверах с большим объёмом видеопамяти без накладных расходов на деквантование при старте. - Использовать для воспроизведения результатов Decision Index 0.3 или в качестве базового
bf16-чекпоинта для дальнейших экспериментов на базеd3-ultra.
Пример
hf download BoldingBuilds/Wildcat-d3-ultra-bf16 --local-dir wildcat-bf16
PYTHONPATH=wildcat-bf16 python -m decision_index run --engine d3_engine:D3Engine --option model=wildcat-bf16
Подробнее
Метрика: Decision Index 0.3 — 70.66 (140 178 запросов).Требования к железу: около 54 ГБ VRAM для загрузки весов в bf16 (для видеокарт на 24 ГБ автор рекомендует 3-битную версию).
Детали сборки: эмбеддинги, нормы, vision tower и readout скопированы из d3-ultra без изменений; вмердженная LoRA обучена на разметке Fastino GLiDE.
Лицензия: код и базовые веса d3-ultra под Apache-2.0, итоговая модель распространяется под Fastino Community License.










Comments