Датасет · HPLT
Очищенный веб-корпус HPLT 2.0 на 191 языке
HPLT/HPLT2.0_cleaned
Миллиарды очищенных веб-документов из Internet Archive и Common Crawl на 191 языке мира.
Что внутри
Это очищенная версия масштабного многоязычного корпуса веб-документов, собранного проектом HPLT преимущественно из архивов Internet Archive и Common Crawl. Объем составляет от 1 до 10 миллиардов записей на 191 языке, включая редкие и малоресурсные. Сами авторы отмечают, что версия 2.0 уже устарела и рекомендуют переходить на релиз HPLT 3.0.
Что можно сделать
- Предобучение многоязычных языковых моделей и токенизаторов
- Сбор текстовых данных для малоресурсных языков
- Обучение моделей заполнения пропусков (fill-mask) и генерации текста
- Задачи
- Заполнение пропусков, Генерация текста
- Языки
- ace, af, als, am, Арабский, as, ast, awa и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 127 тыс.
- Лайков
- 55
Модели, обученные на нём
- mradermacher/TildeOpen-30B-Instruct-LV-i1-GGUF 4,8 тыс.
- openeurollm/datamix-2b-80-20 2,9 тыс.
- TildeAI/TildeOpen-30bГенерация текста 2,3 тыс.
- mradermacher/MamayLM-Gemma-3-12B-IT-v1.0-i1-GGUF 1,5 тыс.
- INSAIT-Institute/MamayLM-Gemma-3-4B-IT-v1.0Картинка + текст 1,2 тыс.
- TurkuNLP/finnish-modernbert-baseЗаполнение пропусков 821
- INSAIT-Institute/MamayLM-Gemma-3-12B-IT-v1.0Картинка + текст 769
- mradermacher/TildeOpen-30b-i1-GGUF 692
Как загрузить
from datasets import load_dataset
ds = load_dataset("HPLT/HPLT2.0_cleaned")