TrimData Baseline Checkpoints
LoRA-адаптеры для отбора данных в LLaVA
2 min readupdated
Это набор LoRA-адаптеров (небольших надстроек над базовой моделью) и обученного проектора для LLaVA-1.5-7B — модели, которая отвечает на вопросы по изображениям. Чекпоинты воспроизводят baseline-методы отбора данных для instruction tuning: COINCIDE, DataTailor, Uniform, LESS-approx и Source-sqrt на подвыборках LLaVA-665K размером 5–20%. База — Vicuna-7B-v1.5 плюс CLIP ViT-L/14-336, обучение по рецепту LLaVA-1.5. Пригодится исследователям, которым нужно сравнивать стратегии отбора данных или перепроверять опубликованные результаты, а не для повседневного чата с картинками.
Ключевые особенности
- LoRA r=128, alpha=256 на всех линейных слоях LLM и полностью обученный mm_projector.
- Готовые чекпоинты для бюджетов 5%, 10%, 15% и 20% с несколькими training seed.
- В карточке есть core-four метрики: POPE, GQA, TextVQA и ScienceQA-IMG.
- В комплекте — eval-выходы и манифесты, чтобы пересчитать оценки без повторного инференса.
- Это research artifacts: воспроизведение baseline-методов, а не новая SOTA-модель.
Что можно сделать
- Сравнить, насколько метод отбора данных влияет на качество LLaVA при одном и том же бюджете.
- Перепроверить бенчмарки по сохранённым предсказаниям и сверить sha256 чекпоинтов.
- Взять готовый адаптер как отправную точку для собственного эксперимента с отбором данных.
- Проверить, как меняются ответы модели при разных training seed и размерах подвыборки.
Пример
from llava.model.builder import load_pretrained_model
path = 'ckpts/uniform/b10/sel1234-t17'
tokenizer, model, image_processor, context_len = load_pretrained_model(
model_path=path, model_base='lmsys/vicuna-7b-v1.5',
model_name='llava-v1.5-7b-lora')
Подробнее
Core-four среднее: 63,73% для Uniform 5%, 65,66% для DataTailor 10%, 67,36% для DataTailor 20%.Чекпоинты — LoRA r=128, alpha=256 на всех линейных слоях LLM плюс обученный mm_projector.
Обучение: 1 эпоха на выбранной подвыборке LLaVA-665K, fp16, DeepSpeed ZeRO-3, NVIDIA L40S.
Это исследовательские артефакты: базовые веса, изображения и полный 100% прогон не включены.










Comments