К содержимому

Датасет · aisbergpublicorganization

Корпус украинских новостей и комментариев из Telegram

aisbergpublicorganization/telegram-news-ua-dataset

Обезличенный поток постов, реакций и комментариев из украинских новостных Telegram-каналов с разметкой событий и манипуляций.

Что внутри

Датасет содержит от 100 тысяч до 1 миллиона текстовых записей на украинском, русском и английском языках, собранных украинской некоммерческой организацией Aisberg (ГО «АЙЗБЕРГ»). Данные разделены на два слоя: сырой ежемесячный поток постов из фиксированного набора публичных каналов вместе с реакциями и ветками комментариев, а также аналитическая разметка с группировкой постов по событиям и выявлением манипуляций.

Что можно сделать

  • Обучение моделей классификации текстов и детекции информационного манипулирования
  • Построение систем суммаризации новостей и кластеризации сообщений по событиям
  • Информационный поиск (text-retrieval) по новостным потокам на украинском и русском языках
Задачи
Классификация текста, Поиск по текстам, Суммаризация
Языки
Украинский, Русский, Английский
Размер
100K–1M записей
Скачиваний за месяц
43,5 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("aisbergpublicorganization/telegram-news-ua-dataset")