Корпус и эмбеддинги для поиска агентов

Что внутри

Англоязычный корпус AgentSearch-V1 включает более 50 млн документов и свыше 1 млрд пассажей; источники — Arxiv, Wikipedia, Project Gutenberg и отфильтрованные Creative Commons данные. Эмбеддинги (более 1 млрд) получены моделью jina-v2-base. В метаданных размер указан как 10 тыс.–100 тыс., но карточка заявляет миллиардный масштаб; формат в карточке не детализирован.

Что можно сделать

• Для обучения retrieval-модели или агентного поиска
• Для построения индекса и оценки RAG-систем
• Для дообучения эмбеддингов или реранкера на пассажах

Как загрузить

from datasets import load_dataset

ds = load_dataset("SciPhi/AgentSearch-V1")