К содержимому

Датасет · enguyen

Чанки корпусов SmolLM и индексы FAISS для поиска

enguyen/smollm-chunked

Фрагменты текстов SmolLM/SmolLM2 и векторные индексы FAISS для оценки новизны генераций LLM.

Что внутри

Внутри находятся разбитые на чанки текстовые данные из корпусов SmolLM и SmolLM2, а также готовые поисковые индексы FAISS. Размер датасета составляет от 100 миллионов до 1 миллиарда записей. Материалы собраны в рамках исследования новизны генераций языковых моделей через призму семантического сходства.

Что можно сделать

  • Оценка новизны текстов, сгенерированных LLM, и поиск совпадений с обучающей выборкой
  • Тестирование и бенчмаркинг систем семантического поиска (text-retrieval) на больших объемах
  • Исследование семантического сходства в данных предобучения
Задачи
Поиск по текстам
Размер
100M–1B записей
Скачиваний за месяц
20,4 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("enguyen/smollm-chunked")