VeriLadder-QwenCoder-7B

VeriLadder-QwenCoder-7B — это fine-tune Qwen2.5-Coder-7B-Instruct на 7,62 млрд параметров для генерации Verilog по описанию схемы. Модель обучена на уточнённых спецификациях датасета VeriLadder, где каждая спецификация прошла формальную проверку эквивалентности. В репозитории есть merged-веса в bf16 и отдельный LoRA-адаптер.

▶ Ключевые особенности

• ▶ Специализация: генерация Verilog RTL из естественно-языковой спецификации.
• 🔤 База — Qwen/Qwen2.5-Coder-7B-Instruct, 7.62B параметров.
• ➕ Обучение на очищенных спецификациях VeriLadder; каждая спецификация проверена формальной эквивалентностью.
• ➖ Доступны merged-модель в bf16 и отдельный LoRA-адаптер (rank 16, alpha 32).
• ✖ Язык карточки — английский; модель заточена под Verilog.

➕ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
name = "anonymous-review-0000/VeriLadder-QwenCoder-7B"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype="bfloat16", device_map="auto")
spec = "A 4-bit counter with a synchronous active-high reset."
messages = [{"role": "system", "content": "You are a Verilog RTL designer that only writes code using correct Verilog syntax."}, {"role": "user", "content": spec + "\n\nWrite the Verilog code for this design."}]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=3072, do_sample=True, temperature=0.2, top_p=0.95)