К содержимому

Датасет · Tree-AI-lab

Многоязычный корпус с редкими языками Африки

Tree-AI-lab/smollm-corpus-multilingue

Текстовый корпус от 10 до 100 млн записей для предобучения моделей на английском, французском и западноафриканских языках.

Что внутри

Внутри собраны тексты на пяти языках: английском, французском, бауле, дьюла и нуши, общим объемом от 10 до 100 миллионов записей. Датасет создан Tree AI Lab в рамках проекта BABA на основе HuggingFaceTB/smollm-corpus. Базовые данные дополнены математическими и дедуктивными текстами из finemath и OpenThoughts-114k, а также крупными корпусами на редких африканских языках.

Что можно сделать

  • Предобучение (pre-training) компактных языковых моделей с поддержкой африканских языков
  • Дообучение (continual pre-training) существующих LLM на языках бауле, дьюла и нуши
  • Улучшение навыков логики и математики в многоязычных моделях
Задачи
Генерация текста
Языки
Английский, Французский, bci, dyu, nch
Размер
10M–100M записей
Скачиваний за месяц
32,3 тыс.
Лайков
2
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("Tree-AI-lab/smollm-corpus-multilingue")