Датасет · nampdn-ai
Tiny WebText: 1–10 млн веб-текстов для критического анализа
nampdn-ai/tiny-webtext
Корпус англоязычных веб-текстов (1–10 млн записей) для обучения моделей объективному анализу и нейтрализации предвзятости.
Что внутри
В наборе содержится от 1 до 10 миллионов записей на английском языке, представленных в текстовом и табличном форматах. Датасет создан для того, чтобы научить языковые модели воспринимать веб-контент и нейтрализовать его предвзятость с помощью методов критического мышления. Разнообразные тексты предназначены для повышения объективности при анализе информации.
Что можно сделать
- Дообучение LLM для более объективного и взвешенного анализа источников
- Обучение детекторов предвзятости (bias) и манипуляций в веб-статьях
- Использование в качестве чистого корпуса для экспериментов с компактными языковыми моделями
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 156
- Лайков
- 41
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nampdn-ai/tiny-webtext")