Датасет · common-pile
Крупный корпус вопросов и ответов с Stack Exchange
common-pile/stackexchange
Десятки миллионов англоязычных обсуждений из разных сообществ Stack Exchange для обучения генерации текста.
Что внутри
Датасет содержит от 10 до 100 миллионов текстовых записей на английском языке из тематических Q&A-сообществ сети Stack Exchange (включая закрытые разделы вроде windowsphone). Материалы собраны из дампов сайтов платформы, публикацию которых в Internet Archive прекратили в июле 2024 года.
Что можно сделать
- Предобучение (pretraining) и дообучение языковых моделей на техническую и экспертную тематику
- Подготовка инструктивных данных (SFT) в формате «вопрос — развёрнутый ответ»
- Наполнение баз знаний для RAG-систем по программированию и смежным темам
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 9,1 тыс.
- Лайков
- 11
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("common-pile/stackexchange")