Датасет · stai-tuebingen
Корпус для оценки новизны текста SmolLM
stai-tuebingen/faiss-smollm
Корпус претрейна и туториал с FAISS для измерения новизны текстовых запросов к моделям SmolLM и SmolLM2.
Что внутри
Набор содержит текстовые данные претрейна для моделей SmolLM и SmolLM2 объемом от 1B до 10B. В него входит пайплайн для генерации эмбеддингов и поиска похожих документов через FAISS с опциональным ColBERTv2 реранкингом.
Что можно сделать
- Оценка новизны текстовых запросов относительно претрейн-корпуса SmolLM
- Настройка пайплайнов поиска похожих документов с FAISS и ColBERTv2
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 19,9 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("stai-tuebingen/faiss-smollm")