К содержимому

Датасет · hausmer

Очищенные посты из Telegram-каналов на русском и украинском

hausmer/ua-ru-tg-channels-clean

Более 1,3 млн постов из 110 новостных, IT и официальных Telegram-каналов без персональных данных для обучения языковых моделей.

Что внутри

Корпус содержит 1 312 360 постов на русском и украинском языках из 110 публичных Telegram-каналов: новости, официальные и военные сводки, IT (включая DOU), вакансии и блоги (неюмористическая часть корпуса Truha). Данные очищены от персональной информации (PII-clean), почти каждая запись (99,9%) содержит ID сообщения и ссылку, а загрузить их можно как единым сплитом, так и по отдельным каналам.

Что можно сделать

  • Дообучение (pretrain / SFT) русскоязычных и украиноязычных LLM на живых новостных и IT-текстах
  • Тематическая классификация постов, аналитика медиа и извлечение именованных сущностей
Задачи
Генерация текста
Языки
Украинский, Русский
Размер
1M–10M записей
Скачиваний за месяц
42,1 тыс.
Лайков
0
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("hausmer/ua-ru-tg-channels-clean")