Датасет · aisbergpublicorganization
Корпус украинских новостей и комментариев из Telegram
aisbergpublicorganization/telegram-news-ua-dataset
Обезличенный поток постов, реакций и комментариев из украинских новостных Telegram-каналов с разметкой событий и манипуляций.
Что внутри
Датасет содержит от 100 тысяч до 1 миллиона текстовых записей на украинском, русском и английском языках, собранных украинской некоммерческой организацией Aisberg (ГО «АЙЗБЕРГ»). Данные разделены на два слоя: сырой ежемесячный поток постов из фиксированного набора публичных каналов вместе с реакциями и ветками комментариев, а также аналитическая разметка с группировкой постов по событиям и выявлением манипуляций.
Что можно сделать
- Обучение моделей классификации текстов и детекции информационного манипулирования
- Построение систем суммаризации новостей и кластеризации сообщений по событиям
- Информационный поиск (text-retrieval) по новостным потокам на украинском и русском языках
- Задачи
- Классификация текста, Поиск по текстам, Суммаризация
- Языки
- Украинский, Русский, Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 43,5 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("aisbergpublicorganization/telegram-news-ua-dataset")