Cyber-Tiel-Coder-35B-A3B-GGUF-MTP
быстрый кодер без цензуры и с поддержкой зрения
2 min readupdated
CyberTiel — специализированная языковая модель для автономного программирования и задач кибербезопасности, собранная автором peculiar-ragdoll на базе очищенной от отказов (abliterated) модели Huihui-Ornith-1.5-35B-A3B. Она использует гибридную архитектуру MoE (Mixture-of-Experts — при генерации активируются только 3 млрд параметров из 35 млрд) с добавленным блоком MTP (Multi-Token Prediction — предсказание нескольких токенов за раз для ускорения вывода). Модель переквантована с помощью кастомной матрицы важности (imatrix) и унаследовала от базы модуль зрения через файл mmproj-BF16.gguf. Подойдёт разработчикам и специалистам по ИБ, которым нужен быстрый локальный агент для правки больших кодовых баз.
Ключевые особенности
- Прирост качества в коде: в 4-битном квантовании решает примерно на 70% больше реальных задач из бенчмарка SWE-bench-Live по сравнению с Ornith-1.5 и Qwen3.6-35B-A3B, тратя меньше токенов на рассуждения.
- Ускорение вывода с MTP: встроенная голова предсказания нескольких токенов на уровне точности Q3_K даёт около 82% принятых черновых токенов при запуске в
llama.cppс флагом--spec-type draft-mtp. - Работа с изображениями: сохраняет визуальный энкодер оригинальной Ornith-1.5 и умеет анализировать скриншоты интерфейса или кода.
- Без встроенных отказов: модель прошла процедуру abliteration, поэтому не отклоняет запросы по пентесту и наступательной безопасности (требует запуска в изолированной песочнице).
- Экономичный контекст до 262k: благодаря гибриду SSM и слоёв внимания KV-кэш на 64k токенов в точности
q8_0занимает всего 0,8 ГБ VRAM.
Что можно сделать
- Автономный рефакторинг и багфиксинг: подключить модель к агентской обвязке вроде Pi.dev для поиска и исправления ошибок в крупных репозиториях.
- Анализ уязвимостей и CTF: использовать в изолированном окружении для поиска уязвимостей и решения задач формата Capture The Flag с параметрами
--top-k 40 --min-p 0.05. - Разбор скриншотов и схем: подключить
mmproj-BF16.ggufвllama-mtmd-cli, чтобы задавать вопросы по снимкам экрана, логам или интерфейсам.
Пример
llama-server -m CyberTiel-MTP/Cyber-Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf \
-ngl 99 --jinja --ctx-size 262144 --spec-type draft-mtp \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0
Подробнее
• Бенчмарки (на кванте UD-Q4_K_M): решает 15 из 43 задач Cybench CTF (35%) без подсказок, 0 отказов на 84 запросах HarmBench, по общим знаниям (MMLU-Pro) не уступает цензурированной версии TielCoder.• Железо и VRAM: оптимальный квант
UD-Q4_K_XL весит 22,7 ГБ и помещается в 24–32 ГБ памяти; для карт на 8–16 ГБ экспертов MoE можно частично выгрузить в ОЗУ флагом --n-cpu-moe (до значения 40, не выше).• Ограничения: общие энциклопедические знания снижены в пользу программирования, а из-за снятых ограничений авторы настоятельно рекомендуют изолировать модель на уровне ОС.










Comments