lk-news-topic-classifier
классификатор новостей Шри-Ланки
2 мин чтенияобновлено
Модель выполняет автоматическую категоризацию новостных материалов на трёх языках: английском, сингальском и тамильском. Она распределяет статьи по девяти заданным темам (политика, экономика, преступность, погода и катастрофы, здоровье, спорт, образование, международные новости и прочее). В основе лежит компактная языковая модель intfloat/multilingual-e5-small (энкодер текста на 118 миллионов параметров), дообученная на материалах шри-ланкийских СМИ. Инструмент ориентирован на разработчиков, создающих агрегаторы новостей или аналитические дашборды для регионального контента.
Ключевые особенности
- Мультиязычность: поддержка английского, сингальского и тамильского языков.
- Девять категорий: охват ключевых тем новостной повестки.
- Честные бенчмарки: автор открыто указывает, что простой классификатор на базе TF-IDF и логистической регрессии на проверенном тесте работает немного точнее.
- Компактность: размер модели всего 118M параметров, что позволяет запускать её на скромном железе.
Что можно сделать
- Применить для создания новостного агрегатора или мониторинга СМИ по Шри-Ланке.
- Протестировать классификацию текстов на сингальском или тамильском языках.
- Интегрировать модель в пайплайн обработки данных через библиотеку
transformers.
Пример
from transformers import pipeline
clf = pipeline("text-classification", model="nipuna02/lk-news-topic-classifier")
clf("ශ්රී ලංකා මහ බැංකුව ප්රතිපත්ති පොලී අනුපාත නොවෙනස්ව තබයි")Подробнее
Бенчмарки: Macro-F1 на тестовом наборе из 450 статей составляет 0.715 (у классического TF-IDF базлайна — 0.748).Обучение: использовалось до 20 176 статей с разметкой по URL-адресам и ключевым словам; обучение велось на MacBook Air M1.
Ограничения: модель обучена только на шри-ланкийских новостях за 2024–2026 годы, присваивает ровно одну метку на статью и не предназначена для премодерации контента.










Комментарии