rooster-coder-rwkv7-1.5b
адаптер кодинга для архитектуры RWKV7
2 мин чтенияобновлено
Новый LoRA (небольшая надстройка над базовой моделью) адаптер и объединенные версии для RWKV/RWKV7-G1k-1.5B-20260930, обученные на профиле кодера из корпуса рассуждений Qwen4 Max. Модель переносит стиль пошаговых рассуждений в формате think на архитектуру RWKV. Сборка включает оригинальные веса адаптера, а также конвертированные форматы GGUF и MLX для локального запуска.
Ключевые особенности
- Базовая архитектура RWKV7 (1.5B параметров) с поддержкой бесшовного запуска.
- Обучение на структурированных треках рассуждений (формат с тегами think).
- Полная поддержка запуска через peft или готовые квантованные сборки GGUF и MLX.
- Оптимизация под fp32 во время обучения для стабильности на GPU Tesla T4.
Что можно сделать
- Применить для генерации кода и ответа на технические вопросы с логическими рассуждениями.
- Запустить локально на ноутбуке через llama.cpp в форматах Q4_K_M или Q6_K GGUF.
- Использовать MLX-версию для быстрой работы на устройствах Apple Silicon.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "AJ-Gonzalez/rooster-coder-rwkv7-1.5b"
base = AutoModelForCausalLM.from_pretrained(
"RWKV/RWKV7-G1k-1.5B-20260930", trust_remote_code=True, dtype=torch.float32)
model = PeftModel.from_pretrained(base, repo, trust_remote_code=True)
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
text = tok.apply_chat_template(
[{"role": "user", "content": "Write a Python LRU cache."}],
tokenize=False, add_generation_prompt=True, thinking=True)
ich = torch.tensor([tok.encode(text)])
out = model.generate(ids, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][ids.shape[1]:]))
Подробнее
Бенчмарки и детали: train loss 1.6735, eval loss 1.9399.Требования к VRAM: пиковое потребление при обучении составило 11.43 GiB на Tesla T4.
Ограничения: обучено на небольшом датасете из 70 строк, модель изучает стиль кодинга и рассуждений, но не является полноценным ассистентом общего назначения.
Доступные артефакты: GGUF (Q4_K_M, Q6_K) и MLX 4-bit для локального инференса.










Комментарии