К содержимому

Датасет · JetBrains-Research

10,7 млн коммитов с GitHub для генерации описаний

JetBrains-Research/commit-chronicle

Крупный корпус истории изменений кода на 20 языках программирования для генерации и дополнения сообщений к коммитам.

Что внутри

Датасет от JetBrains Research содержит 10,7 млн коммитов и метаданных к ним, собранных из 11,9 тыс. репозиториев GitHub на 20 языках программирования (описания на английском). Данные представлены в текстовом и табличном форматах без жёсткой фильтрации структуры диффов. Выборка подготовлена для научной статьи на конференции ASE 2023.

Что можно сделать

  • Обучение и дообучение LLM для автоматической генерации сообщений к коммитам
  • Создание систем автодополнения описаний изменений с учётом истории репозитория
  • Бенчмаркинг моделей суммаризации программного кода
Задачи
Генерация текста, Суммаризация
Языки
Код, Английский
Размер
10M–100M записей
Скачиваний за месяц
3,9 тыс.
Лайков
14

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("JetBrains-Research/commit-chronicle")