К содержимому

Датасет · OpenLLM-France

Многоязычный текстовый корпус для предобучения LLM Lucie-7B

OpenLLM-France/Lucie-Training-Dataset

Десятки миллиардов текстовых примеров на пяти европейских языках и коде для предобучения базовых языковых моделей.

Что внутри

В корпусе содержится от 10 до 100 миллиардов записей на английском, французском, немецком, испанском и итальянском языках, а также примеры на разных языках программирования. Данные собраны из веб-страниц, субтитров видео, научных статей, цифровых книг, газет и журналов, часть из которых прошла обработку через OCR. Датасет использовался для предобучения базовой модели Lucie-7B.

Что можно сделать

  • Предобучение (pretraining) мультиязычных базовых LLM
  • Дообучение моделей для улучшения знания европейских языков и кода
  • Исследование фильтрации и балансировки разнородных текстовых корпусов
Задачи
Генерация текста
Языки
Английский, Французский, Немецкий, Испанский, Итальянский, Код
Размер
10B–100B записей
Скачиваний за месяц
13,2 тыс.
Лайков
40

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("OpenLLM-France/Lucie-Training-Dataset")