К содержимому

Датасет · mikex86

Архив 60 миллионов постов StackOverflow в формате Markdown

mikex86/stackoverflow-posts

Крупный корпус вопросов, ответов и кода со StackOverflow за период до 14 июня 2023 года в виде Markdown-текста.

Что внутри

Датасет включает около 60 миллионов постов со StackOverflow, опубликованных до 14 июня 2023 года, общим объемом около 35 ГБ (примерно 65 миллиардов символов). Тексты на английском языке и фрагменты программного кода отформатированы в Markdown. Данные собраны из официального дампа StackExchange в Internet Archive.

Что можно сделать

  • Предобучение и дообучение (SFT) языковых моделей для генерации кода и ответов по программированию
  • Создание базы знаний для RAG-систем помощи разработчикам
Задачи
Вопрос-ответ, Генерация текста
Языки
Код, Английский
Размер
10M–100M записей
Скачиваний за месяц
13,6 тыс.
Лайков
64

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("mikex86/stackoverflow-posts")