Industry-Coder-27B-v3.0
27B-модель для автономного кодинга, STEM и промавтоматизации
3 min read
Industry-Coder-27B-v3.0 от автора kataguru — это мультимодальная языковая модель на 27,78 млрд параметров для написания сложного кода, работы в составе ИИ-агентов, решения научных задач и промышленного программирования. Модель построена на базе Qwen/Qwen3.8-27B с гибридной архитектурой (Gated DeltaNet + Full Softmax Attention), сохраняет визуальный энкодер (умеет работать с изображениями и текстом), модуль MTP (Multi-Token Prediction — ускоренное предсказание сразу нескольких токенов) и контекстное окно на 262 144 токена. В отличие от обычного дообучения на статичном датасете, автор использовал собственный адаптивный пайплайн с разделением LoRA-подпространств (чтобы новые навыки программирования не затирали базовые знания). Подойдёт разработчикам IDE- и CLI-агентов, инженерам АСУ ТП и тем, кто ищет локальную модель уровня 27B с сильным рассуждением и вызовом инструментов.
Ключевые особенности
- Тройной адаптивный пайплайн обучения: модель дообучалась только на тех примерах, которых ещё не знала, с динамической регулировкой длительности по контрольным тестам каждые 50 шагов и автобалансировкой доменов из банка на 156 713+ проверенных задач.
- Ортонормальное разделение LoRA (`r=16`): первая половина ранга (`[0:8]`) закрепляет базовые и отраслевые знания, а вторая (`[8:16]`) отвечает за олимпиадное программирование, глубокое рассуждение в тегах
и параллельный вызов функций. - Промышленная специализация и билингвальность: помимо стандартных языков программирования, модель заточена под промышленную автоматизацию (Siemens SCL, Beckhoff TwinCAT 3 ST, CNC G-code) и уверенно владеет английским и финским языками.
- Сохранены мультимодальность и MTP: при слиянии весов полностью сохранены 27-слойный визуальный энкодер (`333` тензора) и головы спекулятивного декодирования (`15` тензоров).
Что можно сделать
- Автономные агенты в IDE и CLI: использовать модель для многошаговой разработки, рефакторинга и параллельного вызова внешних инструментов через
(в тесте BFCL Non-Live Parallel точность достигает 94,50%). - Генерация и отладка промышленного кода: писать и проверять управляющие программы для ПЛК и станков с ЧПУ на Siemens SCL, TwinCAT 3 ST и CNC G-code.
- Решение сложных STEM- и алгоритмических задач: применять для олимпиадного программирования, математических выкладок с пошаговым рассуждением и анализа технических схем или скриншотов.
Пример
Сценарий запуска из карточки: развёртывание полных BF16-весов через vLLM с тензорным параллелизмом TP=2 на двух GPU по 48–80 ГБ VRAM (для систем с 1–2 видеокартами на 32 ГБ автор также выпустил квантованные версии NVFP4, W4A16-AWQ и GGUF).
Подробнее
Бенчмарки (на 2x RTX 5090 32GB): среднее по 15 тестам — 71,90% (+3,05 п.п. к базовой Qwen3.8-27B); LiveCodeBench v6 — 64,57% (+22,28 п.п. к v2.0); GPQA Diamond — 82,32%; GSM8K — 92,12%; BFCL V4 Single-Turn AST — 86,27%.Формат и объём: полные веса BF16 (`bfloat16`), 18 шардов safetensors общим весом 55,6 ГБ.
Железо: для BF16 рекомендуется vLLM (`TP=2`) на 2x GPU 48–80 ГБ VRAM; для 32 ГБ карт доступны отдельные квантованные сборки.
Контекст: нативное окно 262 144 токена, заявлены языки en, fi, et, hu, tr.










Comments