Датасет · jrast
Неочищенный веб-корпус текстов для тестов дедупликации
jrast/web-corpus-text-raw
Почти 5 млн текстов из HTML без удаления дубликатов для воспроизведения и проверки алгоритмов LSH-очистки.
Что внутри
Снимок веб-корпуса из 4 998 441 документа, сохранённый в 432 файлах parquet. В таблице есть только идентификатор документа, извлечённый из HTML текст и счётчик символов. Дедупликация по LSH или содержимому специально не проводилась — набор служит фиксированным эталоном для воспроизведения очистки.
Что можно сделать
- Тестирование и бенчмаркинг алгоритмов LSH-дедупликации текстов
- Отладка пайплайнов фильтрации веб-корпусов перед претрейном LLM
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 24,4 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("jrast/web-corpus-text-raw")