Датасет · EssentialAI
Веб-корпус на 24 трлн токенов с метаданными
EssentialAI/essential-web-v1.0
Огромный веб-дата��ет с оценками качества, тематики и типа страниц для отбора данных.
Что внутри
Это веб-датасет объёмом 24 трлн токенов. Для 23,6 млрд документов есть метаданные: тематическая классификация, тип веб-страницы, сложность контента и оценки качества. Данные предназначены для гибкого отбора и создания специализированных подмножеств.
Что можно сделать
- Предобучение LLM на отфильтрованном подмножестве
- Обучение классификатора качества и тематики документов
- Проверка пайплайна curation веб-данных
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 172 тыс.
- Лайков
- 255
Модели, обученные на нём
- oilbread/KoAlpaca-Polyglot-5.8B-20epoch-datatune_eosРазметка токенов 17
- crystalai/thoth-auto-train-cybersecurity-shield-testing-app 0
- crystalai/thoth-guardian-ai-auto-train-cybersecurity-shield 0
- cmbai13/chatbotГенерация текста 0
- djtski/cameronРаспознавание речи 0
- Agente7/AI777Генерация текста 0
- Mertdxru/_super___Картинка → картинка 0
- Lospolos/LosКлассификация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("EssentialAI/essential-web-v1.0")