Датасет · nampdn-ai
Компактный корпус коротких текстов на английском
nampdn-ai/mini-en
Отфильтрованные короткие тексты из RefinedWeb и MiniPile для обучения компактных языковых моделей.
Что внутри
Внутри собраны отфильтрованные короткие тексты на английском языке, объём датасета составляет от 100 тысяч до 1 миллиона записей. Данные отобраны из открытых корпусов Falcon-RefinedWeb и MiniPile с упором на разнообразие и качество контента. Данные представлены в текстовом и табличном форматах.
Что можно сделать
- Предобучение или дообучение компактных языковых моделей на английском языке
- Быстрые эксперименты с архитектурами генерации текста на небольшом, но разнообразном корпусе
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 19
- Лайков
- 14
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nampdn-ai/mini-en")