uno-qwen3-8b-bidir-block32-tv-ce10

Это обученный LoRA-адаптер от quasar529 для базы s-sahoo/uno-qwen3-8B — не самостоятельная 8B-модель и не full-parameter Nemotron. База закреплена на ревизии b8a7577b3223bdcf2b3af0f2fc6e95258b3bbc29; адаптер использует кастомный UniformModel, а не stock PEFT. Предназначен для инференса и исследований.

🧐 Ключевые особенности

• 🧐 Student смотрит bidirectionally внутри каждого noisy-блока, предсказывает токен на той же позиции и видит только чистый префикс; frozen teacher остаётся causal.
• 🔥 LoRA rank 128, alpha 2048 (alpha/r = 16); curriculum: 2 → 4 → 6 → 8 → 12 → 16 → 32.
• 🗿 Данные — open-thoughts/OpenThoughts3-1.2M; global batch 128, sequence length 4096.
• 👀 Objective: 1 × TV-L1 + 1 × CE; CE нацелен на argmax чистого causal verifier, а не на исходный токен данных.
• 🚀 Один адаптер поддерживает 1/2/4 шага денойзинга; улучшение от дополнительных шагов не гарантируется.
• ⛔ Не загружайте как stock PEFT и не используйте исходный causal Uno drafting path — нужен код code/uniform_uno.

🚀 Пример

from huggingface_hub import snapshot_download
import torch
from uniform_uno.model import UniformModel, load_base
from uniform_uno.state import load_adapter
base_path = snapshot_download("s-sahoo/uno-qwen3-8B", revision="b8a7577b3223bdcf2b3af0f2fc6e95258b3bbc29")
model = UniformModel(load_base(base_path, attention="eager", dtype=torch.bfloat16).cuda(), rank=128, alpha=2048)
load_adapter("PATH_TO_THIS_REPO", model)
model.eval()

Подробнее

Целостность релиза проверена: экспортированные веса совпадают с оригиналом, SHA256 сходится.
Свежая установка → загрузка → генерация не валидирована; переносимость и TPS на другом GPU/стеке не установлены.
��овых GPU-генераций и оценок для релиза не запускали; это не turnkey-бенчмарк.
Optimizer/RNG state и данные обучения не включены — тренировку с этого репозитория не возобновить.
Перед запуском проверьте remote code; upstream LICENSE и NOTICE сохранены.