К содержимому

Датасет · hausmer

Очищенные посты из 62 русско- и украиноязычных Telegram-каналов

hausmer/tg-channels-mixed-clean

Более 720 тысяч постов (юмор, проза, новости, техно) без персональных данных.

Что внутри

Корпус включает полную историю публикаций 62 публичных Telegram-каналов — всего 721 221 пост, очищенный от персональных данных (PII-clean). Представлены русский, украинский, белорусский и английский языки. Тематика охватывает юмор и мемы, авторскую прозу и фанфики, книжные медиа, новости (включая два официальных канала полиции), локальные транспортные каналы и канал о телекоме. Данные доступны единым сплитом или по отдельным конфигурациям для каждого канала.

Что можно сделать

  • Дообучение (SFT или pretrain) русско- и украиноязычных языковых моделей на живых текстах соцсетей
  • Обучение LoRA для генерации постов в разных жанрах: от новостей до юмора и художественной прозы
  • Обучение классификаторов тематики или тональности сообщений в мессенджерах
Задачи
Генерация текста
Языки
Украинский, Русский, be, Английский
Размер
1M–10M записей
Скачиваний за месяц
34,3 тыс.
Лайков
1
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("hausmer/tg-channels-mixed-clean")