VeriLadder-Qwen-7B

Релиз от anonymous-review-0000: Qwen2.5-7B-Instruct (7.62B параметров), дообученный писать Verilog RTL по спецификации на естественном языке. Обучение шло на уточнённых спецификациях VeriLadder, каждая из которых проверена формальной проверкой эквивалентности для определения схемы.

🔥 Ключевые особенности

• 👌 Генерирует Verilog RTL из текстовой спецификации; системный промпт требует только корректный Verilog.
• 🎁 Два варианта: merged-модель в bf16 для transformers/vLLM и LoRA-адаптер в lora/.
• 🤖 LoRA: rank 16, alpha 32, все attention и MLP projections; SFT 3 эпохи.
• 🚀 Прирост на VerilogEval v2, RTLLM v2 и VeriLadder-Bench относительно Qwen2.5-7B-Instruct.
• 👀 Язык — английский; модель узкоспециализирована под Verilog RTL.

💯 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

name = 'anonymous-review-0000/VeriLadder-Qwen-7B'
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype='bfloat16', device_map='auto')
spec = 'A 4-bit counter with a synchronous active-high reset.'
# затем apply_chat_template и generate(max_new_tokens=3072)

Подробнее

Functional pass@1: VerilogEval v2 — 44.5% (база 25.5%), RTLLM v2 — 36.4% (26.2%), VeriLadder-Bench — 79.5% (55.4%).
Обучение: LoRA rank 16, alpha 32, 3 эпохи на VeriLadder; адаптер лежит в lora/.
Язык карточки и обучения — английский; модель заточена под Verilog RTL.