Датасет · enguyen
Чанки корпусов SmolLM и индексы FAISS для поиска
enguyen/smollm-chunked
Фрагменты текстов SmolLM/SmolLM2 и векторные индексы FAISS для оценки новизны генераций LLM.
Что внутри
Внутри находятся разбитые на чанки текстовые данные из корпусов SmolLM и SmolLM2, а также готовые поисковые индексы FAISS. Размер датасета составляет от 100 миллионов до 1 миллиарда записей. Материалы собраны в рамках исследования новизны генераций языковых моделей через призму семантического сходства.
Что можно сделать
- Оценка новизны текстов, сгенерированных LLM, и поиск совпадений с обучающей выборкой
- Тестирование и бенчмаркинг систем семантического поиска (text-retrieval) на больших объемах
- Исследование семантического сходства в данных предобучения
- Задачи
- Поиск по текстам
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 20,4 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("enguyen/smollm-chunked")