Датасет · JetBrains-Research
10,7 млн коммитов с GitHub для генерации описаний
JetBrains-Research/commit-chronicle
Крупный корпус истории изменений кода на 20 языках программирования для генерации и дополнения сообщений к коммитам.
Что внутри
Датасет от JetBrains Research содержит 10,7 млн коммитов и метаданных к ним, собранных из 11,9 тыс. репозиториев GitHub на 20 языках программирования (описания на английском). Данные представлены в текстовом и табличном форматах без жёсткой фильтрации структуры диффов. Выборка подготовлена для научной статьи на конференции ASE 2023.
Что можно сделать
- Обучение и дообучение LLM для автоматической генерации сообщений к коммитам
- Создание систем автодополнения описаний изменений с учётом истории репозитория
- Бенчмаркинг моделей суммаризации программного кода
- Задачи
- Генерация текста, Суммаризация
- Языки
- Код, Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,9 тыс.
- Лайков
- 14
Модели, обученные на нём
- mradermacher/smart-commit-0.5b-v0.3-i1-GGUF 3,3 тыс.
- mradermacher/smart-commit-1.5b-v0.3-i1-GGUF 3,3 тыс.
- mradermacher/smart-commit-0.5b-v0.3-GGUF 999
- mradermacher/smart-commit-1.5b-v0.3-GGUF 911
- LucasBRT/pionus-1.5b-v0.3Генерация текста 784
- LucasBRT/pionus-0.5b-v0.3Генерация текста 765
- mradermacher/pionus-0.5b-v0.3-GGUF 653
- mradermacher/pionus-1.5b-v0.3-GGUF 593
Как загрузить
from datasets import load_dataset
ds = load_dataset("JetBrains-Research/commit-chronicle")