К содержимому

Датасет · IFM

Полный тренировочный корпус для открытой LLM Amber

IFM/AmberDatasets

Подготовленная последовательность текстовых данных на английском языке, на которой обучалась открытая модель Amber.

Что внутри

Внутри лежит полностью подготовленная последовательность текстов на английском языке (размер от 100M до 1B записей). Данные собраны и опубликованы в рамках инициативы LLM360, которая делает весь процесс обучения больших языковых моделей полностью открытым. Это официальный датасет, использованный для тренировки модели Amber.

Что можно сделать

  • Воспроизведение обучения языковых моделей с нуля по открытому пайплайну
  • Исследование влияния порядка подачи данных на сходимость LLM
  • Предобучение собственных англоязычных языковых моделей
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
30,7 тыс.
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("IFM/AmberDatasets")