Qwen3_1.7B_LoopUS

Это re-upload модели LoopUS от kaivoss на базе Qwen3-1.7B-Base (2,03 млрд параметров). LoopUS (Looped Depth Up-Scaling) — post-training framework, который превращает обычную pretrained LLM в looped latent refinement model: модель перестраивается в encoder, looped reasoning block и decoder и итеративно уточняет представления в скрытом пространстве. В этой версии контекст расширен с 40 960 до 262 144 токенов (256K).

😎 Ключевые особенности

• 🏃‍♂ LoopUS выполняет iterative latent refinement в hidden space — это даёт test-time compute scaling без recurrent training from scratch.
• 📝 Контекст увеличен до 262 144 токенов; в карточке указано, что это соответствует длине Qwen3.5+ series.
• ⌨ Расширение сделано через YaRN на этапе загрузки: max_position_embeddings=262144, factor=8.0, original_max_position_embeddings=32768; веса не менялись.
• 🤓 Базовая модель — Qwen3-1.7B-Base с full attention и rope_theta=1,000,000.
• 👍 Это re-upload оригинальной Thrillcrazyer/Qwen3_1.7B_LoopUS; все credits базовой модели и архитектуры — оригинальным авторам.

⌨ Пример

git clone https://github.com/Thrillcrazyer/LoopUS.git
cd LoopUS
uv sync
uv run chat.py --model-name Thrillcrazyer/Qwen3_1.7B_LoopUS

Подробнее

Бенчмарков и данных о VRAM в карточке нет.
Контекст: 262 144 токена вместо 40 960; расширение через YaRN при загрузке, без изменения весов.
Для запуска нужен официальный репозиторий LoopUS и зависимости через uv.
Это re-upload с расширением контекста; модель наследует свойства Qwen3-1.7B-Base.