Датасет · jinofy-corp
Мультиязычный корпус для претрейна с упором на языки Африки
jinofy-corp/jora_corpus1
Очищенный текстовый корпус на 18 языках (от 1 до 10 млрд записей) с фокусом на малоресурсные африканские языки.
Что внутри
Очищенный и дедуплицированный корпус для предварительного обучения языковых моделей JoraMind от JINOVAE Labs (подразделение ИИ JINOVAE в Африке). Включает веб-тексты, энциклопедии, код, математику, медицину и сельское хозяйство на 18 языках — среди них амхарский, хауса, суахили, сомали, йоруба, малагасийский, лингала, коморский, а также английский, французский, арабский, испанский, португальский и хинди. Объём датасета составляет от 1 до 10 миллиардов примеров.
Что можно сделать
- Предварительное обучение (pre-training) или адаптация LLM для африканских языков
- Дообучение мультиязычных моделей на предметных доменах (медицина, сельское хозяйство, код)
- Задачи
- Генерация текста
- Языки
- Французский, Английский, Арабский, Испанский, Португальский, Хинди, Индонезийский, ms и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 26,7 тыс.
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("jinofy-corp/jora_corpus1")