Датасет · anisoleai
Токенизированный корпус FineWeb на 4+ триллиона токенов
anisoleai/fineweb-tokenized
Предварительно токенизированная версия гигантского веб-корпуса FineWeb на английском языке в формате parquet.
Что внутри
Крупный англоязычный набор данных объёмом более 4 триллионов токенов, созданный на основе известного корпуса FineWeb (полная обработка всех ~15 триллионов токенов ещё продолжается). Тексты заранее пропущены через BPE-токенизатор AnisoleAI со словарём 52 022 токена и упакованы в компактные шарды формата parquet с типом данных uint16.
Что можно сделать
- Предобучение (pre-training) языковых моделей с нуля без затрат на токенизацию
- Тестирование пропускной способности пайплайнов загрузки данных на сверхбольших объёмах
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- больше 1T записей
- Скачиваний за месяц
- 127,4 тыс.
- Лайков
- 40
Как загрузить
from datasets import load_dataset
ds = load_dataset("anisoleai/fineweb-tokenized")