Senik-Quantum-1.7B
компактная LLM с пошаговым рассуждением и защитой от взлома
2 min read
Компактная языковая модель на 1.73 млрд параметров от независимого автора Nikolas Perez для задач с пошаговым рассуждением, кодом и вызовом инструментов. Она построена на 24-слойной гибридной архитектуре (сочетание слоёв свёрток, скользящего окна и глобального внимания) и перед каждым ответом формирует внутреннюю цепочку рассуждений внутри тегов .... В отличие от обычных компактных моделей, при её обучении применяли отбор данных с помощью квантовых алгоритмов и многомерную защиту весов от abliteration (удаления ограничений безопасности путём редактирования весов). Модель подойдёт разработчикам для локального запуска на ноутбуках или edge-устройствах, а также исследователям безопасности LLM.
Ключевые особенности
- Гибридная архитектура на 24 слоя: включает 13 слоёв gated short-convolution, 5 слоёв sliding-window attention и 6 слоёв global attention с рабочим контекстом 32K.
- Явные рассуждения
: модель сначала проверяет план, алгоритмическую сложность или JSON-схему инструмента внутри скрытого блока, а затем выдаёт ответ. - Устойчивость к abliteration и джейлбрейкам: механизмы отказа распределены по нескольким подпространствам и выдерживают направленные атаки Rank-1 и Rank-4 без потери ограничений.
- Полный комплект весов в репозитории: доступны полная версия в
bfloat16(3.46 GB), готовые GGUF-кванты (отQ4_K_Mна 1.10 GB доF16) и промежуточные LoRA-адаптеры.
Что можно сделать
- Запустить локально на слабом железе: использовать квантованную версию
senik-quantum-1.7b-q4_k_m.ggufчерезllama.cppна ноутбуке или устройстве с 8 ГБ памяти. - Встроить в агентские пайплайны: применять модель для пошагового планирования, генерации строгого JSON для tool-calling, оптимизации алгоритмов и решения математических задач.
- Продолжить дообучение под свои задачи: взять базовые веса
bfloat16или подгрузить готовые адаптеры из папокlora/sft_loraиlora/dpo_loraдля экспериментов с выравниванием (alignment).
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "Lysandra999/Senik-Quantum-1.7B"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
repo_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)Подробнее
Язык: английский (en), объём параметров: 1.73B.На тесте из 10 доменов на NVIDIA A100-SXM4-40GB модель показала скорость 26.0 tok/s в
bfloat16, 100% соблюдение формата (10/10) и 0/10 утечек идентичности.Этапы обучения: SFT LoRA (8 723 примера, точность токенов 96.82%), Identity & Safety DPO (300 пар, reward accuracy 0.90) и Quantum Anti-Abliteration DPO (120 пар).
В стресс-тесте с редактированием весов (Rank-1 и Rank-4 abliteration) модель сохранила 3/3 отказов на вредоносные запросы и 6/6 проверок идентичности.










Comments