Hook judge (Qwen3.5-4B LoRA)
нейросеть-судья для выбора вирусных хуков
2 мин чтенияобновлено
Адаптер LoRA (небольшая надстройка над базовой моделью) для Qwen3.5-4B, обученный автором lollygag оценивать привлекательность описаний для коротких видео. Вы подаёте на вход поисковый запрос и два варианта подписи к ролику в TikTok, а модель отвечает одной буквой (A или B), прогнозируя, какое видео наберёт кратно больше просмотров относительно числа подписчиков автора. В отличие от генеративных нейросетей, она не придумывает тексты сама, а работает как ранжирующий фильтр. На тестах в новых нишах адаптер заметно обходит базовую Qwen3.5-4B и zero-shot Claude Haiku 5.5, избавляясь от склонности базовой модели почти всегда выбирать первый вариант. Инструмент пригодится контент-мейкерам, SMM-специалистам и разработчикам сервисов для A/B-тестирования заголовков.
Ключевые особенности
- Попарное сравнение: оценивает два варианта текста в рамках одного поискового запроса, не зная числа подписчиков и просмотров.
- Борьба со смещением позиции: для точной оценки рекомендуется прогонять пару дважды, меняя варианты A и B местами, и брать вероятности токенов из логитов.
- Обобщение на новые ниши: протестирована на 1 386 парах из 51 тематики, которых не было в обучающей выборке.
- Лёгкая архитектура: обучена методом LoRA (r=16, alpha=32) на всех проекциях attention и MLP с помощью Adaption AutoScientist.
Что можно сделать
- Отбор цепляющих описаний: сгенерировать с помощью большой LLM 5–10 вариантов хуков для ролика и прогнать их через эту модель турнирной сеткой, чтобы оставить лучший.
- Встраивание в контент-пайплайн: использовать модель как автоматический критик в боте или сервисе для подготовки публикаций в коротких форматах.
Пример
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
repo = "lollygag/hook-judge-qwen3.5-4b"
tok = AutoTokenizer.from_pretrained(repo)
base = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.5-4B", device_map="cuda")
model = PeftModel.from_pretrained(base, repo).eval()Подробнее
Точность (Accuracy) на отложенной выборке: 62.7% против 59.9% у TF-IDF + логистической регрессии, 51.2% у Claude Haiku 5.5 (zero-shot) и 49.3% у базовой Qwen3.5-4B.Обучена на ~3 700 парах подписей (7 400 строк с учётом перестановки порядка) из публичного поиска TikTok с разницей от 5x по просмотрам на подписчика.
Железо: запускается на бесплатной T4 в Google Colab, но без библиотек flash-linear-attention и causal-conv1d инференс медленный (~6 минут на 2 772 промпта).
Ограничения: анализирует только текст (без видео, звука и аккаунта), обучалась преимущественно на англоязычном TikTok.










Комментарии