Датасет · HuggingFaceFW
Wikipedia на 325 языках: очищенный finewiki
HuggingFaceFW/finewiki
Обновлённая Wikipedia из HTML-дампов августа 2025: 325 языков, чистые статьи и метаданные.
Что внутри
Finewiki — обновлённая и лучше извлечённая версия датасета Wikipedia, впервые выпущенного в 2023 году. Авторы разобрали HTML-дампы Wikipedia за август 2025 года и покрыли 325 языков. В наборе отрендерены шаблоны, удалены редиректы, страницы значений и другие неосновные статьи, а также добавлены метаданные: page ID, заголовок, дата изменения, wikidate ID, версия и markdown-версия текста. Формат — табличные данные и текст.
Что можно сделать
- Предобучение или дообучение многоязычных LLM
- Построение поиска и RAG по чистым статьям Wikipedia
- Обучение модели на текстах с метаданными и markdown
- Задачи
- Генерация текста
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 18,3 тыс.
- Лайков
- 345
Модели, обученные на нём
- neuralcrew/neutrino-instructГенерация текста 29,5 тыс.
- OpenSML/OpenSML-JSONLite-175MГенерация текста 2,3 тыс.
- wzebrowski/OpenSML-JSONLite-175MГенерация текста 1,8 тыс.
- OpenSML/OpenSML-Base-175MГенерация текста 1,6 тыс.
- wzebrowski/OpenSML-Base-175MГенерация текста 1,6 тыс.
- ufakai/ufakzeka-1-baseГенерация текста 892
- IvmeLabs/Ivme-Conversate-v3-BaseГенерация текста 386
- mradermacher/smallcoder-303m-GGUF 309
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/finewiki")