К содержимому

Датасет · nampdn-ai

Компактный корпус коротких текстов на английском

nampdn-ai/mini-en

Отфильтрованные короткие тексты из RefinedWeb и MiniPile для обучения компактных языковых моделей.

Что внутри

Внутри собраны отфильтрованные короткие тексты на английском языке, объём датасета составляет от 100 тысяч до 1 миллиона записей. Данные отобраны из открытых корпусов Falcon-RefinedWeb и MiniPile с упором на разнообразие и качество контента. Данные представлены в текстовом и табличном форматах.

Что можно сделать

  • Предобучение или дообучение компактных языковых моделей на английском языке
  • Быстрые эксперименты с архитектурами генерации текста на небольшом, но разнообразном корпусе
Задачи
Генерация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
19
Лайков
14
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nampdn-ai/mini-en")