К содержимому

Датасет · stai-tuebingen

Корпус для оценки новизны текста SmolLM

stai-tuebingen/faiss-smollm

Корпус претрейна и туториал с FAISS для измерения новизны текстовых запросов к моделям SmolLM и SmolLM2.

Что внутри

Набор содержит текстовые данные претрейна для моделей SmolLM и SmolLM2 объемом от 1B до 10B. В него входит пайплайн для генерации эмбеддингов и поиска похожих документов через FAISS с опциональным ColBERTv2 реранкингом.

Что можно сделать

  • Оценка новизны текстовых запросов относительно претрейн-корпуса SmolLM
  • Настройка пайплайнов поиска похожих документов с FAISS и ColBERTv2
Размер
1B–10B записей
Скачиваний за месяц
19,9 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("stai-tuebingen/faiss-smollm")