Датасет · ammarnasr
Очищенный код на языке Rust из корпуса TheStack
ammarnasr/the-stack-rust-clean
Миллион файлов с исходным кодом на Rust из GitHub для обучения и дообучения компактных языковых моделей.
Что внутри
Внутри лежат файлы с исходным кодом на языке программирования Rust, отобранные из крупного корпуса TheStack (данные GitHub). Всего в наборе 1 000 000 примеров: 900 000 для обучения, 50 000 для валидации и 50 000 для тестирования. Датасет прошёл предварительную очистку и представлен в табличном и текстовом виде.
Что можно сделать
- Обучение или дообучение компактных LLM для генерации и автодополнения кода на Rust
- Создание специализированной LoRA для ассистента программиста
- Оценка качества генерации кода на Rust на тестовой выборке из 50 тысяч файлов
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 2,4 тыс.
- Лайков
- 26
Модели, обученные на нём
- mratsim/MiniMax-M2.5-FP8-INT4-AWQГенерация текста 384
- or4cl3ai/Aiden_t5Генерация текста 181
- mratsim/MiniMax-M2.5-BF16-INT4-AWQГенерация текста 82
- mratsim/MiniMax-M2.1-FP8-INT4-AWQГенерация текста 74
- mratsim/MiniMax-M2.1-BF16-INT4-AWQГенерация текста 25
- lovethayo/MiniMax-M2.5-FP8-INT4-AWQГенерация текста 20
- ammarnasr/codegen-350M-mono-rustГенерация текста 8
- Superuser666-Sigil/Llama-3.1-8B-Instruct-Rust-QLoraГенерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("ammarnasr/the-stack-rust-clean")