Lite mixed-10k
компактный файнтюн для смешанных задач
2 мин чтенияобновлено
Lite mixed-10k — это BF16-чекпоинт для пула Zils d3-lite, обученный на смеси из 11 датасетов. База — vllm-sr/d3-lite, построенная на Qwen3.5-0.8B; параметров около 0.85B. Модель не является самостоятельным пакетом для инференса: prompt, tokenizer, decision readout и runtime берутся из пула d3-lite, а vision-веса остались без изменений. От базовой d3-lite её отличает языковой LoRA-файнтюн, который улучшил локальную accuracy на отложенной выборке. Пригодится тем, кто экспериментирует с пулом d3-lite и хочет сравнить качество и калибровку на смешанных задачах.
Ключевые особенности
- База — vllm-sr/d3-lite, построенная на Qwen3.5-0.8B; около 0.85B параметров.
- Обучение: attention-only LoRA rank 16, alpha 32, dropout 0.05; адаптер слит в FP32 и сохранён в BF16.
- 10 000 примеров из 11 датасетов: BoolQ, MultiNLI, WinoGrande XL, ARC, BANKING77, StrategyQA, PubMedQA, CondaQA, RuleTaker, ShARC.
- Локальная оценка на 600 held-out: accuracy 87.33% против 84.17% у базовой d3-lite; Brier 0.206634 против 0.232978.
- Не самостоятельный пакет: нужен prompt, tokenizer, decision readout и runtime из пула d3-lite.
Что можно сделать
- Проверить, как компактная 0.85B-модель справляется с классификацией и yes/no-вопросами в вашем пайплайне на базе d3-lite.
- Сравнить качество и калибровку с pinned d3-lite на собственных held-out примерах, если у вас есть доступ к пулу.
- Использовать как отправную точку для экспериментов с LoRA на смешанных доменах, не трогая vision-веса.
Пример
Сценарий из карточки: подать в пул d3-lite вопрос из BoolQ или задачу из ARC и сравнить ответ и уверенность этого чекпоинта с базовой d3-lite на отложенной выборке. Готового standalone-скрипта в карточке нет — нужен runtime пула.
Подробнее
Локальная оценка: 87.33% accuracy и Brier 0.206634 у pre-merge адаптера против 84.17% и 0.232978 у baseline.Это результаты до слияния, а не новая оценка BF16-тела; один seed, небольшие выборки, возможное пересечение с pretraining.
Обучение шло на RTX 4060 Ti 8 GiB под WSL 2; для инференса нужен runtime пула d3-lite.
Официальный score валидатора не заявлен.










Комментарии