Датасет · agentlans
Очищенные предложения на английском из C4 и FineWeb
agentlans/high-quality-english-sentences
Отфильтрованный от спама корпус из миллионов английских предложений для текстовых задач.
Что внутри
Датасет содержит от 1 до 10 миллионов отдельных предложений на английском языке. Они собраны из корпусов C4 и FineWeb (по 1 миллиону до фильтрации) и очищены от спама и нечитаемого текста, хотя в них всё ещё могут встречаться орфографические и грамматические ошибки.
Что можно сделать
- Дообучение языковых моделей и энкодеров для извлечения признаков (feature-extraction)
- Обучение моделей оценки семантической близости предложений и классификации текстов
- Задачи
- Классификация текста, Генерация текста, Эмбеддинги, Похожесть текстов
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 41
Модели, обученные на нём
- techdotus/Ethoric-10MГенерация текста 1,3 тыс.
- techdotus/Tokle-3MГенерация текста 605
- mradermacher/Substitution-Cipher-Text-Eng-GGUF 306
- techdotus/Tokle-SPAB-3MГенерация текста 155
- mradermacher/Substitution-Cipher-Alphabet-Eng-GGUF 152
- mradermacher/AutoCorrect-EN-GGUF 134
- Cipher-AI/AutoCorrect-EN 126
- mradermacher/AutoCorrect-EN-v2-GGUF 112
Как загрузить
from datasets import load_dataset
ds = load_dataset("agentlans/high-quality-english-sentences")