К содержимому

Датасет · sentence-transformers

Миллионы пар «комментарий — код» для эмбеддингов

sentence-transformers/codesearchnet

От 1 до 10 миллионов пар текстовых описаний и фрагментов кода на разных языках программирования.

Что внутри

Крупный текстовый корпус из коллекции CodeSearchNet, содержащий от 1 до 10 миллионов записей. Внутри лежат пары строковых значений: текстовый комментарий на английском языке (колонка comment) и соответствующий ему фрагмент кода на различных языках программирования (колонка code). Датасет подготовлен для прямой работы с библиотекой Sentence Transformers.

Что можно сделать

  • Обучение моделей эмбеддингов для семантического поиска по кодовой базе
  • Тренировка моделей для сопоставления текстовых запросов с фрагментами кода
Задачи
Эмбеддинги, Похожесть текстов
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
587
Лайков
20

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("sentence-transformers/codesearchnet")