К содержимому

Датасет · open-index

Каталог RSS-лент всех доменов с Hacker News

open-index/hacker-news-rss

623 957 найденных RSS/Atom-фидов с 1,75 млн сайтов с Hacker News в формате parquet.

Что внутри

Авторы проверили все уникальные домены, когда-либо опубликованные на Hacker News за 232 месяца (с октября 2006 по март 2026 года), и нашли сайты с RSS/Atom-лентами. Итоговые 623 957 записей с расширенными метаданными упакованы в помесячные снимки в формате parquet. Датасет содержит табличные данные, тексты и изображения на английском языке.

Что можно сделать

  • Обучение классификаторов веб-ресурсов и тематических агрегаторов
  • Извлечение признаков для рекомендательных систем и поиска источников
  • Анализ эволюции веб-публикаций и медиапространства за 20 лет
Задачи
Классификация текста, Эмбеддинги
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
536
Лайков
4

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("open-index/hacker-news-rss")