К содержимому

Датасет · ammarnasr

Очищенный код на языке Rust из корпуса TheStack

ammarnasr/the-stack-rust-clean

Миллион файлов с исходным кодом на Rust из GitHub для обучения и дообучения компактных языковых моделей.

Что внутри

Внутри лежат файлы с исходным кодом на языке программирования Rust, отобранные из крупного корпуса TheStack (данные GitHub). Всего в наборе 1 000 000 примеров: 900 000 для обучения, 50 000 для валидации и 50 000 для тестирования. Датасет прошёл предварительную очистку и представлен в табличном и текстовом виде.

Что можно сделать

  • Обучение или дообучение компактных LLM для генерации и автодополнения кода на Rust
  • Создание специализированной LoRA для ассистента программиста
  • Оценка качества генерации кода на Rust на тестовой выборке из 50 тысяч файлов
Задачи
Генерация текста
Языки
Код
Размер
100K–1M записей
Скачиваний за месяц
2,4 тыс.
Лайков
26

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ammarnasr/the-stack-rust-clean")