Датасет · mikex86
Архив 60 миллионов постов StackOverflow в формате Markdown
mikex86/stackoverflow-posts
Крупный корпус вопросов, ответов и кода со StackOverflow за период до 14 июня 2023 года в виде Markdown-текста.
Что внутри
Датасет включает около 60 миллионов постов со StackOverflow, опубликованных до 14 июня 2023 года, общим объемом около 35 ГБ (примерно 65 миллиардов символов). Тексты на английском языке и фрагменты программного кода отформатированы в Markdown. Данные собраны из официального дампа StackExchange в Internet Archive.
Что можно сделать
- Предобучение и дообучение (SFT) языковых моделей для генерации кода и ответов по программированию
- Создание базы знаний для RAG-систем помощи разработчикам
- Задачи
- Вопрос-ответ, Генерация текста
- Языки
- Код, Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 13,6 тыс.
- Лайков
- 64
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("mikex86/stackoverflow-posts")