Датасет · hausmer
Очищенные посты из Telegram-каналов на русском и украинском
hausmer/ua-ru-tg-channels-clean
Более 1,3 млн постов из 110 новостных, IT и официальных Telegram-каналов без персональных данных для обучения языковых моделей.
Что внутри
Корпус содержит 1 312 360 постов на русском и украинском языках из 110 публичных Telegram-каналов: новости, официальные и военные сводки, IT (включая DOU), вакансии и блоги (неюмористическая часть корпуса Truha). Данные очищены от персональной информации (PII-clean), почти каждая запись (99,9%) содержит ID сообщения и ссылку, а загрузить их можно как единым сплитом, так и по отдельным каналам.
Что можно сделать
- Дообучение (pretrain / SFT) русскоязычных и украиноязычных LLM на живых новостных и IT-текстах
- Тематическая классификация постов, аналитика медиа и извлечение именованных сущностей
- Задачи
- Генерация текста
- Языки
- Украинский, Русский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 42,1 тыс.
- Лайков
- 0
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("hausmer/ua-ru-tg-channels-clean")