Датасет · occiglot
Бенчмарк токенизаторов на текстах Википедии для 45 языков
occiglot/tokenizer-wiki-bench
От 10 до 100 млн предобработанных текстов Википедии для оценки эффективности токенизации на 45 языках.
Что внутри
Набор включает от 10 до 100 миллионов предобработанных фрагментов Википедии на 45 языках (включая африкаанс, арабский, болгарский, каталанский, чешский, датский, словацкий и другие). Данные предназначены для расчёта метрик качества токенизаторов, таких как fertility (среднее число токенов на слово) и доля разбитых слов.
Что можно сделать
- Сравнение эффективности работы готовых токенизаторов LLM на разных языках
- Оценка качества собственного словаря при обучении мультиязычных моделей
- Языки
- af, Арабский, bg, ca, cs, da, Немецкий, el и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 19,8 тыс.
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("occiglot/tokenizer-wiki-bench")