Датасет · Tree-AI-lab
Многоязычный корпус с редкими языками Африки
Tree-AI-lab/smollm-corpus-multilingue
Текстовый корпус от 10 до 100 млн записей для предобучения моделей на английском, французском и западноафриканских языках.
Что внутри
Внутри собраны тексты на пяти языках: английском, французском, бауле, дьюла и нуши, общим объемом от 10 до 100 миллионов записей. Датасет создан Tree AI Lab в рамках проекта BABA на основе HuggingFaceTB/smollm-corpus. Базовые данные дополнены математическими и дедуктивными текстами из finemath и OpenThoughts-114k, а также крупными корпусами на редких африканских языках.
Что можно сделать
- Предобучение (pre-training) компактных языковых моделей с поддержкой африканских языков
- Дообучение (continual pre-training) существующих LLM на языках бауле, дьюла и нуши
- Улучшение навыков логики и математики в многоязычных моделях
- Задачи
- Генерация текста
- Языки
- Английский, Французский, bci, dyu, nch
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 32,3 тыс.
- Лайков
- 2
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("Tree-AI-lab/smollm-corpus-multilingue")