1⃣ Knowledge Editor

Набор чекпоинтов гиперсети («редактора») для Qwen2.5-Instruct 0.5B, 1.5B и 3B. Редактор за один forward pass учительской модели читает документ и предсказывает rank-4 правку ΔW для каждого MLP-слоя замороженной модели — после этого она отвечает на вопросы по документу, не видя его в промпте. Код и инструкции — в GitHub-репозитории проекта.

🔤 Ключевые особенности

• ➕ Чекпоинты для трёх размеров Qwen2.5-Instruct: 0.5B, 1.5B и 3B.
• ➖ Есть pretraining с constant_lr и cosine_lr, а также SFT по ΔW из соответствующего прогона.
• ✖ Для сравнения добавлен standard SFT baseline: полный файнтюн с пассажем в промпте.
• 🟰 В каждом прогоне лежат финальный чекпоинт, логи и eval: holdout-реконструкция, финальный SFT-eval и QA-тесты.
• 0⃣ Формат *_iter{N}.pt: config, editor_state_dict, teacher_state_dict (teacher LoRA) и iteration.

▶ Пример

python -m kedit.infer --checkpoint qwen2.5-1.5b-instruct/sft/delta_w/from_constant_lr/sft_chat_cosine_qwen1p5b_instruct_iter50000.pt \
    --doc-file article.txt --question "..."

Подробнее

Оптимизаторное состояние из чекпоинтов удалено: их можно загружать для eval, QA, инференса и как SFT init_checkpoint, но нельзя продолжить обучение.
Файлы — pickle: загружайте только те, которым доверяете.
Лицензии базовых моделей: Apache 2.0 для 0.5B/1.5B-Instruct и Qwen Research License для 3B-Instruct; их условия применяются к соответствующим чекпоинтам.