Датасет · TIGER-Lab
Крупный корпус научных статей с arXiv в LaTeX
TIGER-Lab/arxiv-latex-5T
От 10 до 100 миллионов пар текстов и изображений с arXiv для обучения научных ассистентов.
Что внутри
Крупный англоязычный датасет объёмом от 10 до 100 миллионов записей, объединяющий тексты в формате LaTeX и изображения. Набор данных использовался при создании проекта ScholarCopilot от лаборатории TIGER-Lab.
Что можно сделать
- Обучение языковых и мультимодальных моделей генерации и редактированию научных текстов в LaTeX
- Создание ИИ-ассистентов для поиска литературы и помощи в написании статей
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 21,5 тыс.
- Лайков
- 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/arxiv-latex-5T")