К содержимому

Датасет · tokyotech-llm

Масштабный корпус кода SwallowCode-v2 на сотни миллионов строк

tokyotech-llm/swallow-code-v2

Огромный обновленный датасет кода от TokyoTech-LLM для обучения моделей генерации программ.

Что внутри

Крупный текстовый и табличный датасет объемом от 100 миллионов до 1 миллиарда записей на английском языке, созданный командой TokyoTech-LLM (сопровождается статьей arXiv:2505.02881). Вторая версия развивает подход SwallowCode-v1 (переписывание Python-кода с помощью LLM) и устраняет ограничения первой версии по размеру и лицензии.

Что можно сделать

  • Предобучение (pretrain) и дообучение языковых моделей для написания кода
  • Исследование методов улучшения качества кодовых датасетов через LLM-переписывание
Задачи
Генерация текста
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
18,7 тыс.
Лайков
63

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tokyotech-llm/swallow-code-v2")