Qwen2.5-Coder-7B-RTL-LoRA-step80
генерация и починка RTL-кода
2 мин чтения
Экспериментальный LoRA-адаптер (небольшая надстройка над базовой моделью) от автора akalakaaaa, созданный для генерации и исправления RTL (описания аппаратуры на уровне регистровых передач, используемого при проектировании микросхем). Адаптер построен на 4-битной квантованной версии unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit и представляет собой промежуточный чекпоинт на 80-м шаге обучения из 120. По сравнению с исходной базовой моделью он заметно лучше справляется с прохождением симуляции в среде Vivado. Пригодится инженерам цифровой схемотехники и разработчикам, работающим с аппаратным описанием.
Ключевые особенности
- Рост успешных симуляций: на 156 публичных тестовых задачах адаптер поднял долю полного прохождения (Full pass rate) с 32.05% до 39.10% (61 из 156 против 50 у базы).
- Компактный размер: всего 5,05 млн обучаемых параметров (~20.2 МБ, rank 8, alpha 16) поверх всех 28 слоёв внимания базовой модели.
- Обучение на траекториях исправлений: дообучение (SFT) проводилось на 56 синтетических примерах, включая 32 задачи на генерацию и 24 на исправление ошибок симуляции и элаборации.
- Открытая лицензия: распространяется под Apache-2.0 с сохранением атрибуции Qwen и Unsloth.
Что можно сделать
- Генерировать и чинить RTL-модули: использовать связку базы и адаптера для написания кода аппаратуры и исправления ошибок после проверок в EDA-инструментах.
- Запускать локально в 4-битном режиме: подключать адаптер через PEFT к
unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bitна видеокартах NVIDIA с поддержкой CUDA.
Пример
python inference.py --base unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit \
--revision 4858886f896bd05db823557fc5cbc4ac28342af7 \
--adapter . --max-new-tokens 512
Подробнее
Бенчмарк (156 кейсов в Vivado 2018.3): компиляция и элаборация 132/156 (у базы 133/156), симуляция 61/156 (у базы 50/156), +18 улучшений и 7 регрессий.Железо и софт: требуется NVIDIA CUDA и bitsandbytes NF4; работа на AMD/ROCm, vLLM и свежих версиях Vivado 2025.2/2026.1 не проверялась.
Ограничения: несовместимо с AWQ/GGUF-версиями и другими моделями; сгенерированный RTL требует обязательной независимой проверки в САПР.










Комментарии