SAGEMH Qwen2-0.5B IRF
компактный детектор чувства изоляции в постах соцсетей
2 min readupdated
Модель анализирует англоязычные посты из социальных сетей и определяет, выражают ли они риск ощущения отверженности и отсутствия социальной принадлежности (thwarted belongingness). На выходе она выдаёт бинарный ответ Yes или No и сразу добавляет короткое текстовое обоснование своего решения. В основе лежит лёгкая языковая модель Qwen2-0.5B от автора g-tertho, дообученная методом LoRA (адаптер для эффективного дообучения без перезаписи всех весов) и слитая в единый чекпоинт в формате float16. В отличие от обычных классификаторов, выдающих только сухую метку класса, эта версия объясняет логику вердикта и при этом занимает меньше гигабайта благодаря размеру 0.49B параметров. Подойдёт исследователям, модераторам и разработчикам систем первиччного мониторинга контента.
Ключевые особенности
- Компактный размер 0.49B параметров в float16 — быстро работает даже на слабом железе без мощных видеокарт.
- Генерирует не только метку
YesилиNo, но и короткое пояснение, почему текст отнесён к выбранному классу. - LoRA-адаптер (rank 16, alpha 32) уже объединён с базовой Qwen2-0.5B — модель загружается стандартным способом через
transformers. - Опубликована в рамках научной работы SAGEMH 2026 года с открытыми метриками на тестовой выборке из 2113 примеров.
Что можно сделать
- Встроить в пайплайн предварительной модерации англоязычных форумов, комментариев или сообществ для выявления тревожных сообщений.
- Использовать в академических исследованиях ментального здоровья и анализа больших массивов текстов из соцсетей на локальной машине.
- Взять как лёгкий базовый классификатор в ансамблях вместе с другими компактными LLM.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "g-tertho/sagemh-qwen2-0.5b-irf"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.float16, device_map="auto")
prompt = tok.apply_chat_template([{"role": "user", "content": 'Consider this post: "..." Question: Does the post show risk of thwarted belongingness?'}], tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), do_sample=False, max_new_tokens=64)
Подробнее
Метрики на тесте (n = 2113): Weighted F1 — 78.33, Macro F1 — 76.41, Balanced Accuracy — 76.67%, Accuracy — 78.23%, MCC — 0.5286.Обучение: 5 эпох, lr 2e-4, эффективный batch size 16, длина контекста до 512 токенов, датасет IRF (только английский язык).
Ограничения: не является диагностическим медицинским инструментом, сгенерированное обоснование не верифицируется, плохо переносится на клинические тексты и другие языки.
Лицензия: Apache-2.0.










Comments