Qwen3.5-4B-ArgGYM-GRPO-step200-LoRA
прокачка формальной логики для Qwen3.5
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью), которая учит языковую модель решать задачи формальной аргументации: искать контраргументы, проверять защиту тезисов, строить цепочки утверждений и находить логические ошибки. Адаптер создан автором bdsaglam на базе мультимодальной модели Qwen/Qwen3.5-4B методом GRPO (обучение с подкреплением без отдельной модели-критика) на бенчмарке ArgGYM. В отличие от базовой версии, модель более чем вдвое точнее справляется с логическим анализом (показатель успеха вырос с 0.309 до 0.645), при этом визуальный модуль базовой модели остался нетронутым. Подойдёт исследователям, разработчикам систем проверки рассуждений и тем, кто экспериментирует с reasoning-моделями (моделями с режимом размышления).
Ключевые особенности
- Адаптер затрагивает 248 модулей во всех 32 текстовых слоях (attention, linear-attention и MLP), но не меняет vision tower.
- Обучен на 8 200 задачах из ArgGYM (теории ASPIC+) с динамическим подбором сложности, где модель ошибается примерно в половине случаев.
- Финальный чекпоинт (200-й шаг) показал лучший результат на валидации — 0.645 против 0.309 у исходной Qwen3.5-4B.
- Поддерживает быстрый инференс через vLLM с флагом
--enable-lora --max-lora-rank 64.
Что можно сделать
- Анализировать сложные логические структуры: проверять аргументы на наличие атак, контраргументов и корректность защиты тезисов.
- Подключить адаптер к Qwen/Qwen3.5-4B в локальном пайплайне через библиотеку
peftили развернуть на сервере через vLLM. - Использовать как референс или отправную точку для экспериментов с GRPO-обучением reasoning-моделей на длинных цепочках рассуждений.
Пример
from transformers import AutoModelForImageTextToText
from peft import PeftModel
base = AutoModelForImageTextToText.from_pretrained(
"Qwen/Qwen3.5-4B", revision="851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a", dtype="bfloat16")
model = PeftModel.from_pretrained(base, "bdsaglam/Qwen3.5-4B-ArgGYM-GRPO-step200-LoRA")Подробнее
Метрики на dev-наборе ArgGYM (96 задач): общий успех 0.645 (+0.34 к базе), лучшие результаты в задачах attack (0.98), attack/defence (0.97) и counter-argument (0.95).Параметры LoRA: rank 64, alpha 32, fp32; обучение через verl v0.9.1 с включённым thinking mode.
Требования к генерации: ответы в среднем занимают около 25k токенов, рекомендуется выставлять лимит 40k–65k выходных токенов.
Ограничения: модель обучалась строго на ArgGYM, поведение на других задачах и на тестовом наборе пока не оценивалось.










Комментарии