Датасет · sentence-transformers
Миллионы пар «комментарий — код» для эмбеддингов
sentence-transformers/codesearchnet
От 1 до 10 миллионов пар текстовых описаний и фрагментов кода на разных языках программирования.
Что внутри
Крупный текстовый корпус из коллекции CodeSearchNet, содержащий от 1 до 10 миллионов записей. Внутри лежат пары строковых значений: текстовый комментарий на английском языке (колонка comment) и соответствующий ему фрагмент кода на различных языках программирования (колонка code). Датасет подготовлен для прямой работы с библиотекой Sentence Transformers.
Что можно сделать
- Обучение моделей эмбеддингов для семантического поиска по кодовой базе
- Тренировка моделей для сопоставления текстовых запросов с фрагментами кода
- Задачи
- Эмбеддинги, Похожесть текстов
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 587
- Лайков
- 20
Модели, обученные на нём
- ig1/Qwen3-Coder-30B-A3B-Instruct-NVFP4Генерация текста 828
- isuruwijesiri/all-MiniLM-L6-v2-code-search-512Похожесть текстов 298
- Kervyn-AI/Kervyn-Rerank-100M-Previewtext ranking 81
- Kervyn-AI/Kervyn-Embeddings-100M-PreviewПохожесть текстов 79
- thealper2/t5-base-code-summarizationГенерация текста 65
- sarthak1/codemaltЭмбеддинги 60
- ctrltokyo/ColBERT-Zero-6L-CodeSearchПохожесть текстов 38
- isuruwijesiri/all-MiniLM-L12-v2-code-search-512Похожесть текстов 35
Как загрузить
from datasets import load_dataset
ds = load_dataset("sentence-transformers/codesearchnet")