Датасет · Locutusque
Крупная коллекция учебных текстов
Locutusque/UltraTextbooks
Крупная коллекция текстов для обучения языковых моделей, в том числе по коду.
Что внутри
UltraTextbooks — коллекция текстов для обучения языковых моделей, описанная как обширное собрание высококачественных синтетических и человеческих материалов. В метаданных указаны языки английский и код, размер 1–10 млн примеров, текстовый формат. Точный состав и источник в приведённом фрагменте карточки не раскрыты.
Что можно сделать
- SFT языковой модели на учебных текстах
- Дообучение LoRA для текста и кода
- Проверка знаний модели после обучения
- Задачи
- Генерация текста
- Языки
- Английский, Код
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,4 тыс.
- Лайков
- 209
Модели, обученные на нём
- Ostixe360/MoMv5-bf16Генерация текста 18
- Ostixe360/Moah-MoE-1.58b-1BГенерация текста 11
- Ostixe360/MoM-1.58bits-1BГенерация текста 11
- Ostixe360/MoMv4-bf16Генерация текста 10
- Ostixe360/MoMv4-1.58bitsГенерация текста 9
- Ostixe360/MoMv3-M-A-mixed-precisionГенерация текста 8
- Ostixe360/MoMv2Генерация текста 7
- Ostixe360/MoMv3-mixed-precisionГенерация текста 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("Locutusque/UltraTextbooks")