Horizon-1-Text-Large-WSP

Версия text-classification модели Horizon-1-Text-Large (~0,4B параметров, 7 меток: scam, violence, harassment, hate_speech, toxicity, obscenity, genocide) с ручной правкой весов. После неё модель больше не считает упоминание группы людей доказательством вреда. Обучения и новых данных не было — изменены только веса финального classifier-слоя.

👀 Ключевые особенности

• 🐾 Правка 3 849 из 395 838 471 параметров (0,001%), все — в последнем слое классификатора.
• ✊ Никакого fine-tuning: ни градиентов, ни дополнительных данных; encoder и head.dense не тронуты.
• 💪 Вычитается только «пустое» identity-направление; та его часть, что отделяет реальную враждебность, предварительно проецируется вон.
• 🤫 β ограничен снизу нулём — правка может лишь уменьшать опору на упоминание группы.
• 🥳 Bias пересчитан так, чтобы recall на исходных порогах сохранился: пороги из карточки базовой модели работают без подстройки.
• 🔥 scam, toxicity и obscenity, а также encoder остались идентичны оригиналу.

👉 Пример

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tok = AutoTokenizer.from_pretrained(path)
model = AutoModelForSequenceClassification.from_pretrained(path).eval()

texts = ["I love my Muslim neighbors, they are wonderful people."]
probs = torch.sigmoid(model(**tok(texts, return_tensors="pt", padding=True, truncation=True)).logits)