#датасет: модели и LoRA

ДатасетыHuggingFaceFW6 часов назад

FineWeb-Edu

1,3 трлн «учебных» токенов из веба

Это не модель, а большой англоязычный датасет из веб-страниц CommonCrawl, отфильтрованных по образовательной ценности. Hugging Face взяли FineWeb и обучили классификатор на оценках Llama3-70B-Instruct: в корпус попали документы с оценкой не ниже 3 по шкале 0–5.

Интересное

Обсудить 1,4 тыс. 436,1 тыс.

ДатасетыHuggingFaceFW6 часов назад

FineWeb

18,5 трлн токенов чистого английского веба

FineWeb — это большой датасет очищенных и дедуплицированных англоязычных веб-страниц из CommonCrawl, собранный HuggingFaceFW для обучения LLM. Внутри более 18,5 трлн токенов, хотя изначально заявлялось 15 трлн.