Датасет · hausmer
Очищенные посты из 62 русско- и украиноязычных Telegram-каналов
hausmer/tg-channels-mixed-clean
Более 720 тысяч постов (юмор, проза, новости, техно) без персональных данных.
Что внутри
Корпус включает полную историю публикаций 62 публичных Telegram-каналов — всего 721 221 пост, очищенный от персональных данных (PII-clean). Представлены русский, украинский, белорусский и английский языки. Тематика охватывает юмор и мемы, авторскую прозу и фанфики, книжные медиа, новости (включая два официальных канала полиции), локальные транспортные каналы и канал о телекоме. Данные доступны единым сплитом или по отдельным конфигурациям для каждого канала.
Что можно сделать
- Дообучение (SFT или pretrain) русско- и украиноязычных языковых моделей на живых текстах соцсетей
- Обучение LoRA для генерации постов в разных жанрах: от новостей до юмора и художественной прозы
- Обучение классификаторов тематики или тональности сообщений в мессенджерах
- Задачи
- Генерация текста
- Языки
- Украинский, Русский, be, Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 34,3 тыс.
- Лайков
- 1
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("hausmer/tg-channels-mixed-clean")