PLatour-TR-LoRA-Qwen3.5-4B-DeepCoder

От zen-E: PEFT LoRA-адаптер для текстового декодера официальной Qwen3.5-4B. Связан с исследованием PACT о prefill-to-autoregressive cross-model transfer: большая модель кодирует промпт и передаёт скрытые представления, а меньшая генерирует ответ. Vision encoder не адаптируется.

🔥 Ключевые особенности

• 💻 Стандартный PEFT LoRA для текстового декодера Qwen3.5-4B; vision encoder не затрагивает.
• 🔮 Основан на идее PACT: лёгкие линейные мосты между замороженными backbone, обучение по task rewards.
• 📚 В карточке есть PACT-Check с контролями Dummy Transfer, Irrelevant Transfer, Self-Communication и Trained Receiver.
• ❌ Бенчмарков нет: это исторический inference-артефакт, а не готовый лидерборд-чекпоинт.
• 📌 Базовая модель и токенизатор закреплены на ревизии 851bf6e...; адаптер не содержит весов backbone.

💻 Пример

from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer

base_id = 'Qwen/Qwen3.5-4B'
revision = '851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a'
base = AutoModelForImageTextToText.from_pretrained(base_id, revision=revision, dtype='auto')
model = PeftModel.from_pretrained(base, 'zen-E/PLatour-TR-LoRA-Qwen3.5-4B-DeepCoder')
tokenizer = AutoTokenizer.from_pretrained(base_id, revision=revision)

Подробнее

Бенчмарков в карточке нет: это исторические inference-артефакты, а не оценённый чекпоинт.
Адаптер не содержит весов backbone; для загрузки нужна Qwen3.5-4B с указанной ревизией.
Локальные проверки: Torch 2.15.0, Transformers 5.22.1, PEFT 0.21.2.
Для сравнительных выводов нужна независимая оценка и корректное описание происхождения.