Tiel-Coder-35B-A3B-GGUF
быстрая локальная нейросеть для кода и разбора скриншотов
2 мин чтенияобновлено
Tiel-Coder-35B-A3B-GGUF от автора peculiar-ragdoll — это оптимизированная GGUF-сборка мультимодальной модели Ornith-1.5-35B-A3B (архитектура MoE, где из 35 млрд параметров на каждый токен активируется 3 млрд). Сборка квантована (сжата для запуска на обычных видеокартах и ОЗУ) с помощью собственной матрицы важности (imatrix) и оснащена шаблоном диалога Sharp, который делает ответы более лаконичными и точными. По сравнению с базовой версией модель заметно лучше справляется с реальными задачами по исправлению кода и длинными диалогами, но сознательно жертвует знаниями для энциклопедических тестов. Она отлично подойдёт разработчикам для локального агентского программирования и отладки проектов.
Ключевые особенности
- Высокая скорость и качество кода: в 4-битном квантовании (22,4 ГБ) решает 12 из 25 задач на SWE-bench-Live — на уровне Opus 4.6 (medium) и на 4 задачи больше базовой Ornith-1.5.
- Сильный многошаговый диалог: набирает 67,2 балла на Claw-Eval за счёт более качественных ответов, хотя задаёт меньше уточняющих вопросов при неясном ТЗ.
- Поддержка компьютерного зрения: через нетронутый модуль
mmproj-BF16.gguf(903 МБ) модель анализирует изображения — качество распознавания одинаково на любом уровне сжатия. - Экономия памяти: благодаря MoE-архитектуре контекст на 262k токенов в 16-битном KV-кэше занимает меньше 5 ГБ оперативной памяти.
Что можно сделать
- Исправлять баги в репозиториях: подключить модель в качестве локального бэкенда для агентского программирования и автоматического поиска ошибок в коде.
- Отлаживать интерфейс и тесты по картинкам: загружать скриншоты упавших тестов, трейсы ошибок (stack trace) или макеты дизайна для быстрого разбора.
- Собирать свои кванты: скачать готовый файл калибровки
Tiel-Coder-35B-A3B.imatrix.ggufиз репозитория и сжать исходную модель под нужный объём памяти черезllama-quantize.
Пример
hf download peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF \
Tiel-Coder-35B-A3B-UD-Q4_K_XL.gguf mmproj-BF16.gguf --local-dir Tiel
llama-mtmd-cli -m Tiel/Tiel-Coder-35B-A3B-UD-Q4_K_XL.gguf --mmproj Tiel/mmproj-BF16.gguf \
-ngl 99 --image screenshot.png -p "Why is this test failing?"
Подробнее
Бенчмарки: 12/25 на SWE-bench-Live (среднее время попытки — 12,3 мин), 67,2 на Claw-Eval, 73,7 на MMLU-Pro.Требования: рекомендуемая сборка
UD-Q4_K_XL весит 22,4 ГБ (нужно 24–32 ГБ суммарной RAM+VRAM); для 16 ГБ советуют UD-IQ3_XXS (13,2 ГБ).Параметры генерации:
temperature 1.0, top_p 0.95, top_k 20 (для агентского кода — temperature 0.6).Ограничения: поддерживает только английский и китайский языки; слабее аналогов в тестах на общие знания (MMLU-Pro); лицензия MIT.










Комментарии