К содержимому

Датасет · community-datasets

Yahoo Answers Topics: миллионы вопросов для классификации

community-datasets/yahoo_answers_topics

Крупный англоязычный корпус из 1–10 миллионов текстов с портала Yahoo Answers для задач тематической классификации.

Что внутри

Большой англоязычный текстовый датасет размером от 1 до 10 миллионов записей, собранный на основе вопросов и ответов с платформы Yahoo Answers. Набор размечен под задачу классификации текстов по темам и стабильно востребован (более 11 тысяч скачиваний в месяц). Сама карточка датасета на Hugging Face не заполнена и содержит стандартные заглушки.

Что можно сделать

  • Обучение и бенчмаркинг моделей тематической классификации текстов на английском
  • Тренировка компактных энкодеров и эмбеддингов для категоризации запросов
  • Предобучение или тестирование пайплайнов обработки больших текстовых корпусов
Задачи
Классификация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
11,4 тыс.
Лайков
63

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("community-datasets/yahoo_answers_topics")