Датасет · HuggingFaceFW
Многоязычный корпус FineWeb2
HuggingFaceFW/fineweb-2
Претрейн-корпус FineWeb2 на 1000+ языках для обучения языковых моделей.
Что внутри
Второй выпуск FineWeb: высококачественные тексты для предобучения на более чем 1000 языках. Датасет полностью воспроизводим, доступен по лицензии ODC-By 1.0 и проверен сотнями ablation-экспериментов; на 9 языках авторы настраивали обработку. Формат — tabular/text, размер — от 1B до 10B примеров.
Что можно сделать
- Предобучение многоязычных LLM
- Continued pretraining для языков с малым числом данных
- Оценка качества многоязычных корпусов
- Задачи
- Генерация текста
- Языки
- aai, aak, aau, aaz, aba, abi, abk, abn и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 159,1 тыс.
- Лайков
- 931
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb-2")