Датасет · allenai
Корпус научных статей peS2o для предобучения
allenai/peS2o
Около 40 млн открытых научных статей на английском, очищенных для предобучения языковых моделей.
Что внутри
peS2o — коллекция примерно 40 млн открытых научных статей, очищенных, отфильтрованных и подготовленных для предобучения языковых моделей. Она построена на основе Semantic Scholar Open Research Corpus (S2ORC). Есть несколько версий с разной обработкой и датой отсечения знаний; рекомендуется последняя.
Что можно сделать
- Предобучить языковую модель на научных текстах
- Провести continued pretraining для научного домена
- Проверить fill-mask на академических текстах
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 26,2 тыс.
- Лайков
- 217
Модели, обученные на нём
- BSC-LT/salamandra-7b-instructГенерация текста 36,1 тыс.
- dmis-lab/UltraBERT-380MЗаполнение пропусков 15,2 тыс.
- dmis-lab/UltraBERT-150MЗаполнение пропусков 14,6 тыс.
- stabilityai/stablelm-3b-4e1tГенерация текста 11,5 тыс.
- BSC-LT/salamandra-2bГенерация текста 3,5 тыс.
- BSC-LT/salamandra-7bГенерация текста 2,9 тыс.
- BSC-LT/salamandra-2b-instructГенерация текста 2,2 тыс.
- BSC-LT/ALIA-40bГенерация текста 1,6 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/peS2o")