Датасет · open-index
Каталог RSS-лент всех доменов с Hacker News
open-index/hacker-news-rss
623 957 найденных RSS/Atom-фидов с 1,75 млн сайтов с Hacker News в формате parquet.
Что внутри
Авторы проверили все уникальные домены, когда-либо опубликованные на Hacker News за 232 месяца (с октября 2006 по март 2026 года), и нашли сайты с RSS/Atom-лентами. Итоговые 623 957 записей с расширенными метаданными упакованы в помесячные снимки в формате parquet. Датасет содержит табличные данные, тексты и изображения на английском языке.
Что можно сделать
- Обучение классификаторов веб-ресурсов и тематических агрегаторов
- Извлечение признаков для рекомендательных систем и поиска источников
- Анализ эволюции веб-публикаций и медиапространства за 20 лет
- Задачи
- Классификация текста, Эмбеддинги
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 536
- Лайков
- 4
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("open-index/hacker-news-rss")