Датасет · Zyphra
Zyda-2: 5 трлн токенов для LLM
Zyphra/Zyda-2
5 трлн токенов веб-текстов, учебных материалов, математики, кода и научных статей для предобучения LLM.
Что внутри
Корпус на 5 трлн токенов собран из открытых высококачественных датасетов Zyda, FineWeb, DCLM и Dolma. Источники объединили, очистили от дублей и отфильтровали по качеству с помощью моделей. Внутри веб-данные, образовательный контент, математика, код и научные статьи; язык — английский.
Что можно сделать
- Предобучить языковую модель с нуля
- Продолжить pretraining открытой LLM
- Обучить LoRA/адаптер на большом английском корпусе
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- больше 1T записей
- Скачиваний за месяц
- 82,2 тыс.
- Лайков
- 105
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Zyphra/Zyda-2")