К содержимому

Датасет · anisoleai

Токенизированный корпус FineWeb на 4+ триллиона токенов

anisoleai/fineweb-tokenized

Предварительно токенизированная версия гигантского веб-корпуса FineWeb на английском языке в формате parquet.

Что внутри

Крупный англоязычный набор данных объёмом более 4 триллионов токенов, созданный на основе известного корпуса FineWeb (полная обработка всех ~15 триллионов токенов ещё продолжается). Тексты заранее пропущены через BPE-токенизатор AnisoleAI со словарём 52 022 токена и упакованы в компактные шарды формата parquet с типом данных uint16.

Что можно сделать

  • Предобучение (pre-training) языковых моделей с нуля без затрат на токенизацию
  • Тестирование пропускной способности пайплайнов загрузки данных на сверхбольших объёмах
Задачи
Генерация текста
Языки
Английский
Размер
больше 1T записей
Скачиваний за месяц
127,4 тыс.
Лайков
40

Как загрузить

from datasets import load_dataset

ds = load_dataset("anisoleai/fineweb-tokenized")