Датасет · dell-research-harvard
Исторические газеты США в структурированном виде
dell-research-harvard/AmericanStories
Структурированные тексты исторических газет на английском для предобучения LLM и RAG.
Что внутри
American Stories — высококачественные структурированные данные из исторических газет. По карточке, они подходят для предобучения больших языковых моделей и улучшают понимание исторического английского и мировых знаний. Данные также можно подключать к retrieval-augmented моделям и использовать для мультимодального анализа макетов; язык — английский, размер — 100M<n<1B.
Что можно сделать
- Предобучение LLM на историческом английском
- Наполнение RAG-базы исторических газет
- Обучение и проверка моделей анализа газетных макетов
- Задачи
- Классификация текста, Генерация текста, Поиск по текстам, Суммаризация, Вопрос-ответ
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 23,1 тыс.
- Лайков
- 184
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("dell-research-harvard/AmericanStories")