К содержимому

Датасет · bigcode

Размеченный исходный код для поиска персональных данных

bigcode/bigcode-pii-dataset

Фрагменты кода на 31 языке с разметкой утечек паролей, ключей и личных данных.

Что внутри

Датасет содержит 12 099 фрагментов кода длиной около 50 строк на 31 языке программирования для задачи классификации токенов (token-classification). Разметку выполнили 1 399 краудворкеров из 35 стран на платформе Toloka, выделив имена, логины, email, IP-адреса, ключи, пароли и идентификаторы.

Что можно сделать

  • Обучение моделей NER и классификации токенов для поиска секретов и PII в коде
  • Создание фильтров очистки репозиториев перед обучением кодовых LLM
  • Оценка качества систем автоматического аудита безопасности исходного кода
Задачи
Разметка токенов
Языки
Код
Размер
10K–100K записей
Скачиваний за месяц
140
Лайков
62
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("bigcode/bigcode-pii-dataset")