Датасет · togethercomputer
Открытый корпус текстов для обучения LLM
togethercomputer/RedPajama-Data-1T
Полностью открытая реализация датасета LLaMa: английские тексты для предобучения языковых моделей.
Что внутри
RedPajama — clean-room, полностью open-source реализация датасета LLaMa. По карточке это текстовый корпус на английском; подробный состав в приведённом описании не раскрыт. Данные предназначены для text-generation и предобучения. Формат и точный объём в приведённом фрагменте не указаны.
Что можно сделать
- Предобучить английскую языковую модель
- Дообучить LoRA или адаптер на большом текстовом корпусе
- Сравнить с другими открытыми корпусами для LLM
- Задачи
- Генерация текста
- Языки
- Английский
- Скачиваний за месяц
- 3,8 тыс.
- Лайков
- 1,2 тыс.
Модели, обученные на нём
- BSC-LT/salamandra-7b-instructГенерация текста 36,1 тыс.
- openlm-research/open_llama_3b_v2Генерация текста 19,1 тыс.
- BlinkDL/rwkv-4-worldГенерация текста 14,5 тыс.
- stabilityai/stablelm-3b-4e1tГенерация текста 11,5 тыс.
- stabilityai/stablelm-2-1_6bГенерация текста 7,3 тыс.
- openlm-research/open_llama_3bГенерация текста 6,8 тыс.
- togethercomputer/LLaMA-2-7B-32KГенерация текста 4,5 тыс.
- BSC-LT/salamandra-2bГенерация текста 3,5 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("togethercomputer/RedPajama-Data-1T")