К содержимому

Датасет · agentlans

Очищенные предложения на английском из C4 и FineWeb

agentlans/high-quality-english-sentences

Отфильтрованный от спама корпус из миллионов английских предложений для текстовых задач.

Что внутри

Датасет содержит от 1 до 10 миллионов отдельных предложений на английском языке. Они собраны из корпусов C4 и FineWeb (по 1 миллиону до фильтрации) и очищены от спама и нечитаемого текста, хотя в них всё ещё могут встречаться орфографические и грамматические ошибки.

Что можно сделать

  • Дообучение языковых моделей и энкодеров для извлечения признаков (feature-extraction)
  • Обучение моделей оценки семантической близости предложений и классификации текстов
Задачи
Классификация текста, Генерация текста, Эмбеддинги, Похожесть текстов
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
1,2 тыс.
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("agentlans/high-quality-english-sentences")