К содержимому

Датасет · occiglot

Бенчмарк токенизаторов на текстах Википедии для 45 языков

occiglot/tokenizer-wiki-bench

От 10 до 100 млн предобработанных текстов Википедии для оценки эффективности токенизации на 45 языках.

Что внутри

Набор включает от 10 до 100 миллионов предобработанных фрагментов Википедии на 45 языках (включая африкаанс, арабский, болгарский, каталанский, чешский, датский, словацкий и другие). Данные предназначены для расчёта метрик качества токенизаторов, таких как fertility (среднее число токенов на слово) и доля разбитых слов.

Что можно сделать

  • Сравнение эффективности работы готовых токенизаторов LLM на разных языках
  • Оценка качества собственного словаря при обучении мультиязычных моделей
Языки
af, Арабский, bg, ca, cs, da, Немецкий, el и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
19,8 тыс.
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("occiglot/tokenizer-wiki-bench")