Датасет · epfml
FineWeb2-HQ: качественный корпус для предобучения
epfml/FineWeb2-HQ
Отфильтрованное по качеству подмножество FineWeb2 на 20 языках для более быстрого предобучения языковых моделей.
Что внутри
Это текстовый корпус для предобучения, отобранный из FineWeb2: в каждом языке взяли верхние 10% документов по оценке классификатора на эмбеддингах XLM-RoBERTa, который ищет структурированные и насыщенные знаниями тексты. По карточке, охватывает 20 языков; в метаданных указаны ru, zh, de, ja, es, fr. Размер по метаданным — от 100 млн до 1 млрд.
Что можно сделать
- Предобучение или continued pretraining небольшой LLM на русском и других языках
- Дообучение LoRA для генерации текста
- Проверка качества фильтрации корпуса
- Задачи
- Генерация текста
- Языки
- Русский, Китайский, Немецкий, Японский, Испанский, Французский, Итальянский, Португальский и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 54,4 тыс.
- Лайков
- 88
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("epfml/FineWeb2-HQ")