К содержимому

Датасет · sentence-transformers

Миллионы пар «вопрос — ответ» из поиска Google

sentence-transformers/gooaq

Англоязычный датасет с вопросами пользователей и ответами из Google для обучения моделей эмбеддингов.

Что внутри

Внутри собраны пары из столбцов question и answer (в строковом формате), извлечённые из поисковой выдачи Google на английском языке. Объём датасета составляет от 1 до 10 миллионов записей. Набор адаптирован для прямой работы с библиотекой Sentence Transformers.

Что можно сделать

  • Обучение моделей эмбеддингов для семантического поиска и оценки близости текстов
  • Тренировка ретриверов для систем поиска ответов на вопросы
Задачи
Эмбеддинги, Похожесть текстов
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
1,6 тыс.
Лайков
35

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("sentence-transformers/gooaq")