dory-4b-toolsmith-lora
LoRA-адаптеры для поиска и исправления багов в Python
2 min readupdated
Набор из двух LoRA (небольших надстроек над базовой моделью), созданных для обучения нейросети самостоятельно чинить ошибки в небольших Python-функциях. Адаптеры построены на базе компактной модели NVIDIA Nemotron Labs Dory 1.0 4B и работают в среде Toolsmith, где модель взаимодействует с кодом через четыре инструмента: чтение файла, редактирование, запуск тестов и отправку патча. В отличие от базовой модели, которая часто тратит слишком много токенов и ошибается, дообученные версии поднимают точность решения задач с 75% до 93.8–97.4%. Разработка пригодится исследователям агентских систем, инженерам по RL-обучению (обучению с подкреплением) и разработчикам локальных кодинг-помощников.
Ключевые особенности
- Две версии адаптеров в одном репозитории: вариант
sftобучен на 500 проверенных демонстрациях, аgrpo— методом RL с нуля без готовых примеров. - Высокая точность на бенчмарке из 340 задач: версия
sftрешает 97.4% заданий (против 75.0% у базы) за счёт лаконичных вызовов инструментов. - Версия
grpoлучше справляется с самыми сложными задачами из сплита challenge — 34 из 40 против 31 из 40 уsft. - Легковесная архитектура: адаптированы только 180 линейных слоёв в блоках внимания (всего 15.6M параметров с rank 16 и alpha 32).
Что можно сделать
- Встроить адаптер в локального Python-агента для автоматического поиска и исправления простых багов в изолированной песочнице.
- Сравнить на практике поведение моделей, обученных через SFT и GRPO, при работе с вызовами инструментов (
read_file,edit_file,run_visible_tests,submit_patch). - Использовать репозиторий вместе с кодом генератора задач и песочницы из проекта
toolsmith-rlкак стенд для экспериментов с агентским RL.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16"
revision = "f6c832e6963ddb74f62c75813a3e8c74b1af67b1"
tokenizer = AutoTokenizer.from_pretrained(base, revision=revision)
model = AutoModelForCausalLM.from_pretrained(base, revision=revision, dtype=torch.float16)
model = PeftModel.from_pretrained(model, "harshit2312/dory-4b-toolsmith-lora", subfolder="sft").merge_and_unload()Подробнее
Бенчмарк (340 задач): база Dory 1.0 4B — 75.0% (255/340), SFT LoRA — 97.4% (331/340), GRPO LoRA — 93.8% (319/340).Железо и обучение: базовые веса в fp16, веса LoRA в fp32; GRPO обучалась на одной GPU T4 за 4.9 часа.
Ограничения: обучение проводилось на синтетических шаблонных задачах с одной функцией, поэтому результаты не переносятся на реальные крупные репозитории; модель рекомендуется запускать строго в изолированной песочнице.
Лицензия: OpenMDW-1.1 (действуют также условия базовой модели NVIDIA).










Comments