LifeMate V7 Weights
набор LoRA-адаптеров и soup-сборок на базе Qwen3.5-4B
2 мин чтения
Автор Nhat42 собрал в одном репозитории комплект LoRA-адаптеров (небольших надстроек для дообучения), их объединенных версий (LoRA soup) и логов оценки для системы LifeMate V7. В основе лежит языковая модель Qwen/Qwen3.5-4B, обученная на синтетических данных для генерации ответов и вызовов инструментов (tool calls). Главная особенность проекта — метод точного объединения рангов (exact_rank_concat), который позволяет склеить до пяти разных адаптеров в один без потери точности и даже на обычном CPU. Набор пригодится разработчикам, которые экспериментируют с объединением весов моделей и созданием компактных LLM-агентов до 5 млрд параметров.
Ключевые особенности
- Готовая сборка g_all5: объединяет пять специализированных адаптеров (F1–F5) с равными весами, повышая итоговый балл на unseen-валидации до 73.89 против 67.54 у базового варианта.
- Сборка на CPU без видеокарты: в репозитории описан процесс воспроизводимого склеивания отдельных LoRA-модулей в единый файл с проверкой контрольных сумм SHA256.
- Специализация адаптеров: отдельные модули в папке
adapters/дообучались на разные подзадачи — вычисления (compute), работу с датами, ветвление логики и DPO-выравнивание. - Прозрачные метрики: для 17 конфигураций приложены подробные отчеты оценки (
summary.json,details.jsonl) на выборкахval_seenиval_unseen.
Что можно сделать
- Собрать компактную модель на базе
Qwen3.5-4Bдля локальных агентов, которым нужно вызывать внешние функции и API. - Использовать готовые адаптеры из папки
adapters/для экспериментов со смешиванием весов (model merging) и сравнения разных стратегий дообучения.
Пример
pip install huggingface_hub
export HF_TOKEN=hf_xxx
huggingface-cli download Nhat42/lifemate-v7-weights \
--include "submission/g_all5/*" \
--local-dir outputs/v7/hf_weights
Подробнее
Базовая модель: Qwen/Qwen3.5-4B (итоговая сборка меньше 5B параметров)Лучший результат (g_all5): final_score 73.89 (hash_match 82.33%) на val_unseen (232 примера) и 85.46 (92.22%) на val_seen (257 примеров)
Параметры LoRA: r=32, lora_alpha=64 для одиночных адаптеров (232.6 МБ каждый) и r=160, lora_alpha=320 для g_all5 (1162.6 МБ)
Примечание: в карточке репозиторий помечен как Private, для скачивания через CLI указан токен доступа










Комментарии