Датасет · OpenLLM-France
Многоязычный текстовый корпус для предобучения LLM Lucie-7B
OpenLLM-France/Lucie-Training-Dataset
Десятки миллиардов текстовых примеров на пяти европейских языках и коде для предобучения базовых языковых моделей.
Что внутри
В корпусе содержится от 10 до 100 миллиардов записей на английском, французском, немецком, испанском и итальянском языках, а также примеры на разных языках программирования. Данные собраны из веб-страниц, субтитров видео, научных статей, цифровых книг, газет и журналов, часть из которых прошла обработку через OCR. Датасет использовался для предобучения базовой модели Lucie-7B.
Что можно сделать
- Предобучение (pretraining) мультиязычных базовых LLM
- Дообучение моделей для улучшения знания европейских языков и кода
- Исследование фильтрации и балансировки разнородных текстовых корпусов
- Задачи
- Генерация текста
- Языки
- Английский, Французский, Немецкий, Испанский, Итальянский, Код
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 13,2 тыс.
- Лайков
- 40
Модели, обученные на нём
- OpenLLM-France/Lucie-7BГенерация текста 745
- tensorblock/OpenLLM-France_Lucie-7B-GGUFГенерация текста 68
- alexgusevski/Lucie-7B-mlxГенерация текста 21
- alexgusevski/Lucie-7B-q3-mlxГенерация текста 19
- alexgusevski/Lucie-7B-q6-mlxГенерация текста 18
- alexgusevski/Lucie-7B-q8-mlxГенерация текста 15
- alexgusevski/Lucie-7B-q4-mlxГенерация текста 14
- kerweros/Lucie-7BГенерация текста 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenLLM-France/Lucie-Training-Dataset")