Датасет · tokyotech-llm
Масштабный корпус кода SwallowCode-v2 на сотни миллионов строк
tokyotech-llm/swallow-code-v2
Огромный обновленный датасет кода от TokyoTech-LLM для обучения моделей генерации программ.
Что внутри
Крупный текстовый и табличный датасет объемом от 100 миллионов до 1 миллиарда записей на английском языке, созданный командой TokyoTech-LLM (сопровождается статьей arXiv:2505.02881). Вторая версия развивает подход SwallowCode-v1 (переписывание Python-кода с помощью LLM) и устраняет ограничения первой версии по размеру и лицензии.
Что можно сделать
- Предобучение (pretrain) и дообучение языковых моделей для написания кода
- Исследование методов улучшения качества кодовых датасетов через LLM-переписывание
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 18,7 тыс.
- Лайков
- 63
Модели, обученные на нём
- mradermacher/GPT-OSS-Swallow-120B-RL-v0.1-i1-GGUF 5,5 тыс.
- tokyotech-llm/Qwen3-Swallow-8B-RL-v0.2Генерация текста 5,3 тыс.
- tokyotech-llm/Qwen3-Swallow-8B-SFT-v0.2Генерация текста 3,2 тыс.
- mradermacher/Qwen3-Swallow-30B-A3B-RL-v0.2-heretic-i1-GGUF 1,3 тыс.
- mradermacher/GPT-OSS-Swallow-20B-SFT-v0.1-i1-GGUF 1,2 тыс.
- mradermacher/GPT-OSS-Swallow-20B-RL-v0.1-i1-GGUF 1,2 тыс.
- tokyotech-llm/Qwen3-Swallow-8B-CPT-v0.2Генерация текста 1,2 тыс.
- mradermacher/Unbound-v1.12.0-27B-i1-GGUF 1,1 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("tokyotech-llm/swallow-code-v2")