BERT-Sentiment_Classifier
классификатор тональности отзывов на 3 класса
2 min readupdated
Модель определяет эмоциональную окраску англоязычных отзывов и делит их на три категории: негативные, нейтральные и позитивные. Она представляет собой файнтюн (дообучение под конкретную задачу) классической архитектуры google-bert/bert-base-uncased, выполненный на сбалансированной выборке из датасета Yelp Review Full. В отличие от простых бинарных классификаторов, модель выделяет средний нейтральный класс, что помогает отсеивать неоднозначные оценки. Инструмент пригодится разработчикам для прототипирования систем анализа обратной связи на английском языке и в учебных проектах по NLP.
Ключевые особенности
- Разделяет текст на три класса: Negative (1–2 звезды), Neutral (3 звезды) и Positive (4–5 звёзд).
- Полное дообучение как энкодера BERT, так и классификационной головы с выбором лучшего чекпоинта по метрике Macro F1.
- Обучена на очищенной стратифицированной выборке из 15 000 отзывов Yelp без дубликатов и пересечений с тестовым набором.
- Легко запускается через стандартный
pipelineбиблиотекиtransformersбез сложной настройки.
Что можно сделать
- Встроить в бэкенд или скрипт для автоматической сортировки англоязычных отзывов клиентов по тональности.
- Использовать как готовый бэкенд для интерактивного демо-приложения на базе Streamlit (автор приложил исходники в GitHub).
- Взять за основу или бейзлайн в учебных проектах по классификации текстов и обработке естественного языка.
Пример
from transformers import pipeline
classifier = pipeline("text-classification", model="godlykmathews/BERT-Sentiment_Classifier")
review = "The food was wonderful and the service was excellent!"
result = classifier(review, truncation=True, max_length=128)
print(result)
Подробнее
Метрики на тесте (3 000 отзывов): Accuracy — 0.7740, Weighted F1 — 0.7734, Macro F1 — 0.7278.Лучше всего распознаёт позитив (F1 0.8485) и негатив (F1 0.8352), нейтральный класс даётся сложнее (F1 0.4996).
Ограничения: только английский язык, максимальная длина текста — 128 токенов, возможны ошибки на сарказме и смешанных мнениях.
Обучение: 3 эпохи, AdamW, lr 2e-5, эффективный батч 16, случайное зерно 42.










Comments