Lamarck-Qwen3.8-27B
LoRA-адаптер для Qwen3.8-27B после continued pretraining
2 мин чтенияобновлено
Это исследовательский LoRA-адаптер (небольшая надстройка над базовой моделью без изменения её основных весов) для Qwen3.8-27B от автора Ronin48LLC. Адаптер получен методом continued pretraining (продолженного предобучения на дополнительных текстах) с использованием QLoRA (4-bit NF4 для базы и вычисления в bf16). По сравнению с исходной моделью адаптер заметно снижает perplexity (перплексию — показатель неуверенности модели при предсказании текста) на целевых текстовых наборах, сохраняя при этом точность на тестах по информатике и математике. Подойдёт разработчикам и исследователям, которые экспериментируют с дообучением крупных языковых моделей через PEFT.
Ключевые особенности
- Содержит около 117M обучаемых параметров (~0.77% от базовой модели), параметры LoRA: rank 16, alpha 32.
- Снижает перплексию на отложенных текстовых выборках на 10.9% и 8.0% относительно базовой Qwen3.8-27B.
- Сохраняет точность на бенчмарках (MMLU computer security + college CS, GSM8K, SecQA v2) на уровне исходной модели без деградации.
- Веса базовой модели остаются замороженными, а сам адаптер распространяется отдельным компактным файлом.
Что можно сделать
- Использовать как референс и отправную точку для собственных экспериментов с continued pretraining крупных моделей через QLoRA и PEFT.
- Подключать поверх базовой Qwen3.8-27B в локальных пайплайнах генерации текста на базе библиотеки
transformers.
Пример
from transformers import Qwen3_5ForConditionalGeneration, AutoTokenizer
from peft import PeftModel
base = Qwen3_5ForConditionalGeneration.from_pretrained(
"Qwen/Qwen3.8-27B", device_map="auto")
model = PeftModel.from_pretrained(base, "Ronin48LLC/Lamarck-Qwen3.8-27B")
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.8-27B")Подробнее
Бенчмарки (база → адаптер): GSM8K (n=150) — 0.920 → 0.940; SecQA v2 (n=100) — 0.970 → 0.980; MMLU CS/Security (n=200) — 0.835 → 0.840.Перплексия: text set 1 снизилась с 5.855 до 5.219 (-10.9%), text set 2 — с 5.728 до 5.269 (-8.0%), контрольный набор по математике вырос с 6.228 до 6.412 (+2.9%).
Обучение: QLoRA (4-bit NF4 база, bf16 compute), архитектура базы Qwen3_5ForConditionalGeneration.
Ограничения: исследовательский адаптер без гарантий пригодности для конкретных задач; автор рекомендует проверять ответы модели.










Комментарии