VYBE Flan-T5 slang adapter
LoRA, которая объясняет сленг простыми словами
2 min read
Экспериментальный LoRA-адаптер от VYBE (vybechief) поверх google/flan-t5-large. Задача — по сленговому термину выдать простое английское определение; тип PEFT LoRA, seq2seq. Это не боевой путь Bridge: live-сервис пока использует OpenAI.
Ключевые особенности
- PEFT LoRA для seq2seq поверх
flan-t5-large; определения на английском, термины могут быть многоязычным сленгом. - В
job-v7используется замороженный префиксDefine this slang term: {term}— модель должна выдавать plain meaning. mainиjob-v2–job-v6не деплоить: они проваливали holdout; уmainизвестны плохие ответы на No Cap.job-v7получилHOLD_OUT_PASSна пробе No Cap: «A lie. Not a hat.»- Глоссарий закрытый и неполный; адаптер может уверенно галлюцинировать неверные определения, его выводы — не ground truth.
- Позже должен стать заменяемым rewrite-шагом для VYBE Bridge, но live endpoint пока загружает
mainдо пересборки образа.
Пример
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
from peft import PeftModel
base = 'google/flan-t5-large'; adapter = 'vybechief/vybecheck-flant5-adapters'
tok = AutoTokenizer.from_pretrained(base)
model = PeftModel.from_pretrained(AutoModelForSeq2SeqLM.from_pretrained(base), adapter, revision='job-v7')
text = 'Define this slang term: No Cap'
ids = tok(text, return_tensors='pt')
print(tok.decode(model.generate(**ids, max_new_tokens=48, num_beams=4)[0], skip_special_tokens=True))
Подробнее
job-v7: LoRA r=64, alpha=128, 20 эпох, lr 2e-4; обучение на Hugging Face Jobs a10g-small.Проверка job-v7: No Cap → «A lie. Not a hat.»; loss не считается пропуском гейта.
Live Bridge всё ещё на OpenAI; для production/CaaS и открытого чата адаптер не предназначен.










Comments