К содержимому

Датасет · nampdn-ai

Tiny WebText: 1–10 млн веб-текстов для критического анализа

nampdn-ai/tiny-webtext

Корпус англоязычных веб-текстов (1–10 млн записей) для обучения моделей объективному анализу и нейтрализации предвзятости.

Что внутри

В наборе содержится от 1 до 10 миллионов записей на английском языке, представленных в текстовом и табличном форматах. Датасет создан для того, чтобы научить языковые модели воспринимать веб-контент и нейтрализовать его предвзятость с помощью методов критического мышления. Разнообразные тексты предназначены для повышения объективности при анализе информации.

Что можно сделать

  • Дообучение LLM для более объективного и взвешенного анализа источников
  • Обучение детекторов предвзятости (bias) и манипуляций в веб-статьях
  • Использование в качестве чистого корпуса для экспериментов с компактными языковыми моделями
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
156
Лайков
41
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nampdn-ai/tiny-webtext")