Датасет · togethercomputer
Многоязычный корпус для обучения LLM
togethercomputer/RedPajama-Data-V2
Тексты на английском, немецком, французском, испанском и итальянском для предобучения больших языковых моделей.
Что внутри
RedPajama-Data-V2 — открытый набор текстов из веб-страниц на пяти языках. В карточке указано, что он предназначен для обучения больших языковых моделей; точный объём в приведённых метаданных не указан. Формат и состав по доменам в доступном фрагменте не раскрыты.
Что можно сделать
- Предобучение или дообучение многоязычной LLM
- Проверка качества фильтрации веб-текстов
- Сравнение моделей на en/de/fr/es/it
- Задачи
- Генерация текста
- Языки
- Английский, Немецкий, Французский, Испанский, Итальянский
- Скачиваний за месяц
- 13,6 тыс.
- Лайков
- 426
Модели, обученные на нём
- LSX-UniWue/LLaMmlein_1BГенерация текста 6,3 тыс.
- LSX-UniWue/ModernGBERT_134MЭмбеддинги 5 тыс.
- mradermacher/KAI-7B-Instruct-v0.1-i1-GGUF 3,1 тыс.
- mradermacher/KAI-7B-v0.1-i1-GGUF 2 тыс.
- LSX-UniWue/ModernGBERT_1BЭмбеддинги 1,9 тыс.
- mradermacher/KAI-7B-Instruct-v0.1-GGUF 1,8 тыс.
- LSX-UniWue/LLaMmlein_1B_prereleaseГенерация текста 1,8 тыс.
- sapienzanlp/Minerva-7B-base-v1.0Генерация текста 1,8 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("togethercomputer/RedPajama-Data-V2")