К содержимому

Датасет · common-pile

Крупный корпус вопросов и ответов с Stack Exchange

common-pile/stackexchange

Десятки миллионов англоязычных обсуждений из разных сообществ Stack Exchange для обучения генерации текста.

Что внутри

Датасет содержит от 10 до 100 миллионов текстовых записей на английском языке из тематических Q&A-сообществ сети Stack Exchange (включая закрытые разделы вроде windowsphone). Материалы собраны из дампов сайтов платформы, публикацию которых в Internet Archive прекратили в июле 2024 года.

Что можно сделать

  • Предобучение (pretraining) и дообучение языковых моделей на техническую и экспертную тематику
  • Подготовка инструктивных данных (SFT) в формате «вопрос — развёрнутый ответ»
  • Наполнение баз знаний для RAG-систем по программированию и смежным темам
Задачи
Генерация текста
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
9,1 тыс.
Лайков
11

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("common-pile/stackexchange")