Qwen3-1.7B Lipogram LoRA
генерация текста без буквы «E»
2 мин чтенияобновлено
Экспериментальный LoRA-адаптер (небольшая надстройка над базовой моделью) от разработчика prateekfr, который учит языковую модель писать связные тексты на английском языке без единого использования самой частой буквы «e» или «E». В основе лежит компактная модель Qwen3-1.7B, дополненная тремя уровнями ограничений и дообучения. В отличие от простого запрета токенов поверх базовой модели, которая из-за этого часто срывается на иностранные слова, этот адаптер сохраняет естественность и грамматику английской речи. Пригодится исследователям управляемой генерации (constrained generation), любителям лингвистических головоломок и тем, кто изучает связку SFT и GRPO на малых LLM.
Ключевые особенности
- Трёхслойная архитектура: сочетает маскирование логитов (блокировка 103 639 токенов с буквой «e»), дообучение SFT (4-bit QLoRA) и обучение с подкреплением GRPO.
- Блокировка 68,33% словаря: предвычисленная булева маска отсекает почти две трети токенов Qwen3 на этапе генерации.
- Соблюдение липограммы: в сочетании с маской логитов модель достигает 100% прохождения строгого теста без буквы «e» при 88% осмысленных ответов.
- Открытая лицензия: распространяется под Apache 2.0 и подключается через стандартную библиотеку PEFT.
Что можно сделать
- Генерировать английские стихи, рассказы и ответы на инструкции в формате строгой липограммы.
- Использовать код загрузки и маскирования логитов как готовый шаблон для жестких символьных ограничений в других задачах на базе Qwen3.
- Сравнивать поведение базовой модели, этапа SFT и финального RL-этапа (GRPO) при экстремальном урезании словаря токенизатора.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
model_id = "Qwen/Qwen3-1.7B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
base_model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base_model, "prateekfr/qwen3-1.7b-no-e-lora")
Подробнее
Бенчмарк Gadsby Suite (RL GRPO + Mask): 100.0% строгого соблюдения липограммы, 88.0% пригодных ответов (против 28.0% у базовой Qwen3-1.7B с маской), 92.5% разнообразия N-грамм.Обучение: 4-bit QLoRA на 180 отобранных вручную парах инструкций без буквы «e» с последующей оптимизацией GRPO.
Ограничения: при инференсе необходимо программно применять булеву маску к логитам модели, иначе запрещённые токены не блокируются.










Комментарии