Prompt-Resampler-2B
модель для генерации вариантов промптов
2 мин чтения
Модель mithulaartigala/Prompt-Resampler-2B-SFT-Alpha-8K представляет собой альфа-релиз инструмента на базе архитектуры Qwen3.5-2B (с 2.27 млрд параметров). Она обучена с использованием техники LoRA (метод дообучения с низким рангом) и предназначена для дата-аугментации — создания новых качественных вариаций текстовых запросов без потери их исходного смысла и сложности. На выходе инструмент выдает переформулированные задания, которые полезны для обучения других нейросетей или расширения датасетов. Новинка подойдет разработчикам ИИ-систем и исследователям, занимающимся сбором и подготовкой качественных текстовых данных.
Ключевые особенности
- Специализация: сфокусирована на надежном ресемплинге промптов и использовании меньшего количества токенов для рассуждений.
- Длина контекста: поддерживает последовательности длиной до 8,192 токенов при сохранении нативной структуры базовой модели.
- Архитектура: плотная модель с 2.27 млрд параметров, дообученная на синтезированном датасете.
- Мультимодальность: унаследовала от базовой команды
Qwenбазовые мультимодальные способности, хотя обучение ресемплингу велось только на тексте.
Что можно сделать
- Интеграция в пайплайны: использовать модель через
vLLMилиUnsloth Studioдля автоматического расширения обучающих датасетов. - Генерация вариаций: создавать новые примеры для математических задач (например, в стиле GSM8K) или задач классификации с сохранением исходной логики.
- Тестирование промптов: проверять устойчивость ИИ-приложений к разным формулировкам пользовательских запросов.
- Локальный запуск: развернуть легковесную модель на потребительской видеокарте для быстрого тестирования в пайплайнах обработки текста.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "mithulaartigala/Prompt-Resampler-2B-SFT-Alpha-8K"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype="auto",
device_map="auto"
)
messages = [
{"role": "system", "content": "YOUR_SYSTEM_PROMPT"},
{"role": "user", "content": "YOUR_PROMPT"}
]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
with torch.inference_mode():
outputs = model.generate(
inputs,
max_new_tokens=1024,
do_sample=False
)
print(tokenizer.decode(
outputs[0][inputs.shape[-1]:],
skip_special_tokens=True
))
Подробнее
Бенчмарки и цифры: в карточке модели приведены примеры генерации (например, переписывание арифметических задач с сохранением логической структуры).Требования и обучение:
LoRA ранг r=16, alpha=32, базовая модель unsloth/Qwen3.5-2B, обучение проводилось с помощью оптимизатора AdamW 8-bit и планировщика Cosine.Ограничения: это альфа-релиз, модель может плохо справляться с редкими структурами промптов или слишком длинными запросами, а также иногда генерировать нереалистичные сценарии без дополнительных системных инструкций.










Комментарии