Датасет · neuralwork
arXiv-статьи в Markdown с метаданными
neuralwork/arxiver
63 357 научных статей arXiv 2023 года в multi-markdown с метаданными для поиска, QA и обучения языковых моделей.
Что внутри
Датасет содержит 63 357 статей arXiv, преобразованных в формат multi-markdown (.mmd). Для каждой статьи есть оригинальный arXiv ID, название, аннотация, авторы, дата публикации и URL; статьи опубликованы с января по октябрь 2023 года. Подходит для семантического поиска, языкового моделирования в научной области, вопросно-ответных задач и суммаризации.
Что можно сделать
- Дообучение LLM на научных текстах
- Семантический поиск по arXiv
- Вопросно-ответные задачи и суммаризация статей
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 2,7 тыс.
- Лайков
- 376
Модели, обученные на нём
- mradermacher/L-3.1-Science-Writer-8B-v1.0-i1-GGUF 702
- mradermacher/L-3.1-Science-Writer-8B-v1.0-GGUF 268
- tangledgroup/tangled-alpha-0.7-coreГенерация текста 23
- tangledgroup/tangled-alpha-0.6-coreГенерация текста 22
- tangledgroup/tangled-alpha-0.8-coreГенерация текста 22
- tangledgroup/tangled-alpha-0.5-coreГенерация текста 19
- BroAmbula/Curriculum_PredictionКлассификация текста 10
- tangledgroup/tangled-alpha-0.9-coreГенерация текста 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("neuralwork/arxiver")