К содержимому

Датасет · coral-nlp

154,56 млрд токенов открытых текстов на немецком языке

coral-nlp/german-commons

Крупный корпус немецкоязычных текстов под открытыми лицензиями из 41 источника для обучения языковых моделей.

Что внутри

Датасет объединяет тексты и табличные данные на немецком языке из 41 различного источника под открытыми лицензиями. Общий объём составляет 154,56 миллиарда токенов (от 10 до 100 миллионов записей), дополнительно приложен фильтр Блума, совместимый с DOLMA. Корпус предназначен для обучения немецкоязычных моделей генерации текста.

Что можно сделать

  • Предобучение (pretraining) и дообучение немецкоязычных LLM
  • Фильтрация и дедупликация корпусов с помощью приложенного bloom_filter.bin
  • Исследования в области генерации текста на немецком языке
Задачи
Генерация текста
Языки
Немецкий
Размер
10M–100M записей
Скачиваний за месяц
3,8 тыс.
Лайков
42

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("coral-nlp/german-commons")