Датасет · PleIAs
Корпус французских книг в общественном достоянии
PleIAs/French-PD-Books
Большая коллекция французских монографий в общественном достоянии для обучения генеративных языковых моделей.
Что внутри
Датасет содержит тексты французских монографий в общественном достоянии, представленные в текстовом и табличном форматах. Объем коллекции составляет от 100 тысяч до 1 миллиона записей. Данные собраны Пьером-Карлом Лангле на базе корпуса проекта Gallicagram при сотрудничестве с OpenLLMFrance.
Что можно сделать
- Предобучение или дообучение языковых моделей для генерации текста на французском языке
- Создание исторических и литературных текстовых анализаторов
- Исследования в области лингвистики и культурной аналитики
- Задачи
- Генерация текста
- Языки
- Французский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 3,7 тыс.
- Лайков
- 52
Модели, обученные на нём
- BSC-LT/salamandra-7b-instructГенерация текста 31,5 тыс.
- BSC-LT/salamandra-7bГенерация текста 3,7 тыс.
- BSC-LT/salamandra-2bГенерация текста 3,6 тыс.
- BSC-LT/salamandra-2b-instructГенерация текста 2,2 тыс.
- BSC-LT/ALIA-40bГенерация текста 2 тыс.
- mradermacher/ALIA-40b-i1-GGUF 1,1 тыс.
- mradermacher/ALIA-40b-GGUF 492
- mradermacher/salamandra-2b-instruct-GGUF 426
Как загрузить
from datasets import load_dataset
ds = load_dataset("PleIAs/French-PD-Books")