Датасет · coral-nlp
154,56 млрд токенов открытых текстов на немецком языке
coral-nlp/german-commons
Крупный корпус немецкоязычных текстов под открытыми лицензиями из 41 источника для обучения языковых моделей.
Что внутри
Датасет объединяет тексты и табличные данные на немецком языке из 41 различного источника под открытыми лицензиями. Общий объём составляет 154,56 миллиарда токенов (от 10 до 100 миллионов записей), дополнительно приложен фильтр Блума, совместимый с DOLMA. Корпус предназначен для обучения немецкоязычных моделей генерации текста.
Что можно сделать
- Предобучение (pretraining) и дообучение немецкоязычных LLM
- Фильтрация и дедупликация корпусов с помощью приложенного bloom_filter.bin
- Исследования в области генерации текста на немецком языке
- Задачи
- Генерация текста
- Языки
- Немецкий
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,8 тыс.
- Лайков
- 42
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("coral-nlp/german-commons")