Датасет · bigcode
Размеченный исходный код для поиска персональных данных
bigcode/bigcode-pii-dataset
Фрагменты кода на 31 языке с разметкой утечек паролей, ключей и личных данных.
Что внутри
Датасет содержит 12 099 фрагментов кода длиной около 50 строк на 31 языке программирования для задачи классификации токенов (token-classification). Разметку выполнили 1 399 краудворкеров из 35 стран на платформе Toloka, выделив имена, логины, email, IP-адреса, ключи, пароли и идентификаторы.
Что можно сделать
- Обучение моделей NER и классификации токенов для поиска секретов и PII в коде
- Создание фильтров очистки репозиториев перед обучением кодовых LLM
- Оценка качества систем автоматического аудита безопасности исходного кода
- Задачи
- Разметка токенов
- Языки
- Код
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 140
- Лайков
- 62
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/bigcode-pii-dataset")