К содержимому

Датасет · jrast

Неочищенный веб-корпус текстов для тестов дедупликации

jrast/web-corpus-text-raw

Почти 5 млн текстов из HTML без удаления дубликатов для воспроизведения и проверки алгоритмов LSH-очистки.

Что внутри

Снимок веб-корпуса из 4 998 441 документа, сохранённый в 432 файлах parquet. В таблице есть только идентификатор документа, извлечённый из HTML текст и счётчик символов. Дедупликация по LSH или содержимому специально не проводилась — набор служит фиксированным эталоном для воспроизведения очистки.

Что можно сделать

  • Тестирование и бенчмаркинг алгоритмов LSH-дедупликации текстов
  • Отладка пайплайнов фильтрации веб-корпусов перед претрейном LLM
Размер
1M–10M записей
Скачиваний за месяц
24,4 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("jrast/web-corpus-text-raw")