К содержимому

Датасет · nyuuzyou

Архив открытого кода Google Code

nyuuzyou/google-code-archive

Снимок проектов Google Code 2006–2016 для обучения моделей на историческом коде.

Что внутри

Датасет собран из Google Code Archive — сохранённого снимка проектов, размещённых на Google Code с 2006 по 2016 год. Платформа хранила сотни тысяч open-source проектов до закрытия. Языки — код и английский, модальность — текст, размер — от 10 до 100 млн записей. Это исторический срез разработки open source.

Что можно сделать

  • Обучение code-модели на исторических репозиториях
  • Дообучение модели генерации кода
  • Анализ эволюции open-source проектов
Задачи
Генерация текста
Языки
Код, Английский
Размер
10M–100M записей
Скачиваний за месяц
3 тыс.
Лайков
74

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nyuuzyou/google-code-archive")