К содержимому

Датасет · jinofy-corp

Мультиязычный корпус для претрейна с упором на языки Африки

jinofy-corp/jora_corpus1

Очищенный текстовый корпус на 18 языках (от 1 до 10 млрд записей) с фокусом на малоресурсные африканские языки.

Что внутри

Очищенный и дедуплицированный корпус для предварительного обучения языковых моделей JoraMind от JINOVAE Labs (подразделение ИИ JINOVAE в Африке). Включает веб-тексты, энциклопедии, код, математику, медицину и сельское хозяйство на 18 языках — среди них амхарский, хауса, суахили, сомали, йоруба, малагасийский, лингала, коморский, а также английский, французский, арабский, испанский, португальский и хинди. Объём датасета составляет от 1 до 10 миллиардов примеров.

Что можно сделать

  • Предварительное обучение (pre-training) или адаптация LLM для африканских языков
  • Дообучение мультиязычных моделей на предметных доменах (медицина, сельское хозяйство, код)
Задачи
Генерация текста
Языки
Французский, Английский, Арабский, Испанский, Португальский, Хинди, Индонезийский, ms и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
26,7 тыс.
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("jinofy-corp/jora_corpus1")