Датасет · tokyotech-llm
SwallowCode: корпус кода EN/JA
tokyotech-llm/swallow-code
Крупный корпус кода на английском и японском для обучения и дообучения языковых моделей.
Что внутри
Датасет для генерации текста на английском и японском, объём — от 100 млн до 1 млрд записей; в метаданных указаны табличные данные и текст. В карточке есть предупреждение: подмножество ablation/exp1-the-stack-v2-train-smol-ids-python удалили из-за возможных небезопасных данных из Python-части The Stack v2. ClamAV также пометил Win.Trojan.MSShellcode-88; набор можно восстановить из the-stack-v2-train-smol-ids.
Что можно сделать
- дообучение LLM для генерации кода
- SFT на коде с английским и японским
- проверка безопасности данных при обучении кода
- Задачи
- Генерация текста
- Языки
- Английский, Японский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 84
Модели, обученные на нём
- tokyotech-llm/Llama-3.1-Swallow-8B-v0.5 1,9 тыс.
- mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF 651
- mradermacher/Llama-3.1-Swallow-8B-v0.5-GGUF 285
- tokyotech-llm/Llama-3.1-8B-code-ablation-exp3-LR2.5e-5-MINLR2.5E-6-WD0.1-iter0012500 136
- tokyotech-llm/Llama-3.1-8B-code-ablation-exp1-LR2.5e-5-MINLR2.5E-6-WD0.1-iter0012500 75
- tokyotech-llm/Llama-3.1-8B-code-ablation-exp1-LR2.5e-5-MINLR2.5E-6-WD0.1-iter0002500 46
- tokyotech-llm/Llama-3.1-8B-code-ablation-exp1-LR2.5e-5-MINLR2.5E-6-WD0.1-iter0005000 43
- tokyotech-llm/Llama-3.1-8B-code-ablation-exp2-LR2.5e-5-MINLR2.5E-6-WD0.1-iter0010000 42
Как загрузить
from datasets import load_dataset
ds = load_dataset("tokyotech-llm/swallow-code")