FlexDM-LoRA-v2.1

LoRA-адаптер от 1000luca для google/gemma-4-31B-it под структурированные решения: есть состояние (документ, диалог, список устройств и т.п.) и один или несколько multiple-choice / yes-no вопросов о нём. Модель не генерирует ответ, а выдаёт вероятность каждого варианта из логитов меток на Answer: (. Адаптер рассчитан на запуск в vLLM; served-версия имеет rank 128 и strength 0.7.

🔤 Ключевые особенности

• 1⃣ Обучение на 180 101 вопросе; в v2.1 добавлено около 65 тыс. вопросов для форматов, слабых в v2.0.
• 2⃣ Два прогона обучения усреднены; served rank 128, strength 0.7.
• 3⃣ Ответ — распределение вероятностей по вариантам, без генерации текста.
• 4⃣ Поддержка 2–255 вариантов и до 131 071 токена на строку; более длинные запросы отклоняются.
• 5⃣ Для vLLM на 10 full-attention слоях k_proj LoRA продублирован как v_proj, чтобы V получал обученное изменение.

▶ Пример

python -m decision_index run --engine jevlab.vllm_lora_reader:VllmLoraReader --option lora=/path/to/this/repo --option layout=header --option read_twice=true --option twice_max_tokens=3000 --option temperature_choice=10.9757 --option temperature_choice_log_slope=-1.7016 --compact --out runs/flexdm-lora

Подробнее

Decision Index 0.3 public: 68.99 (v2.0 — 66.49).
Для запуска в vLLM нужно около 75 ГБ свободной VRAM на одной GPU; база квантуется FP8 per-block.
Ограничения: 131 071 токен на строку и 2–255 вариантов; длинные строки отклоняются без усечения.
Лицензия адаптера — CC BY-SA 4.0; базовая Gemma — Apache 2.0.