Датасет · google
Код и документация для генерации описаний
google/code_x_glue_ct_code_to_text
Пары «код → текст документации» из CodeSearchNet для обучения генерации описаний по коду.
Что внутри
Датасет CodeXGLUE code-to-text содержит пары фрагментов кода и текстовых описаний (документации). Он собран из CodeSearchNet с фильтрацией: удалены примеры с непарсящимся AST, описаниями короче 3 или длиннее 256 токенов и спецтокенами. Языки — код и английский, размер — от 1 до 10 млн примеров. Формат в карточке не уточнён.
Что можно сделать
- Дообучить модель генерации docstring по коду
- Проверить code-to-text на бенчмарке CodeXGLUE
- Обучить encoder-decoder для описаний функций
- Задачи
- Перевод
- Языки
- Код, Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 3,9 тыс.
- Лайков
- 80
Модели, обученные на нём
- smcleod/llama-3-1-8b-smcleod-golang-coder-v3 76
- Shuu12121/CodeModernBERT-OwlЗаполнение пропусков 65
- Shuu12121/CodeSearch-ModernBERT-OwlПохожесть текстов 54
- wahdie11/codet5-finetuned-text-python 26
- zankich/Devstral-Small-2505-INT8Генерация текста 16
- zankich/Qwen3-32B-INT8Генерация текста 16
- thelamapi/next-codexГенерация текста 10
- akshaybharadwaj96/nl-code-gen-pythonГенерация текста 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/code_x_glue_ct_code_to_text")