Kataguru-Polyglot-264E-35B-A3B
мультиязычный MoE-гигант на 264 эксперта
3 мин чтенияобновлено
Финская компания Datasein Oy выпустила мультиязычную мультимодальную модель для работы с текстом и изображениями (VLM), программирования и точных наук. Она построена на базе Qwen3.5-35B-A3B и Kataguru-Sceptic-35B-A3B-v3.1 с архитектурой MoE (Mixture-of-Experts — смесь экспертов, где для каждого токена активируется только часть сети): общий объём составляет 36,98 млрд параметров, но за раз работают лишь 8 экспертов. Авторы расширили сеть до 264 экспертов, добавив 10 выделенных языковых слотов для финского, эстонского, венгерского, литовского, латышского, исландского, баскского, грузинского, валлийского и турецкого языков в дополнение к английскому. В отличие от базовой модели, новинка переводит напрямую между всеми 110 языковыми парами без промежуточного перевода через английский и без внешних скриптов маршрутизации, а также сняты цензурные ограничения (SOMA/ARA). Модель пригодится разработчикам мультиязычных сервисов, исследователям и энтузиастам, работающим с редкими европейскими и соседними языками.
Ключевые особенности
- Архитектура 254 + 10 экспертов: 254 замороженных ядра отвечают за STEM, код и вызов инструментов, а 10 выделенных слотов специализируются на конкретных языках.
- Сохранена мультимодальность: 27-слойный визуальный энкодер ViT, спекулятивная голова MTP и нативное контекстное окно перенесены из базы без изменений.
- Прямой кросс-языковой перевод и RAG через специальные теги в промпте (
/translate /и/rag /) без привязки к английскому языку. - Поддержка гибких режимов рассуждений и ролей через теги
[INSPECT],[CURATE],[SURGEON],[DECISION]и управление глубиной размышлений.
Что можно сделать
- Развернуть локальный OpenAI-совместимый API-сервер через vLLM для мультиязычного ассистента с поддержкой вызова функций (tool calling) и анализа изображений.
- Использовать для прямого перевода текстов и документации между 11 языками (например, с грузинского или финского сразу на турецкий или эстонский) без потери смысла на промежуточном английском.
- Встроить в кросс-языковой поиск по документам (RAG), подавая контекст на одном языке и получая точные ответы на другом.
Пример
python3 -m vllm.entrypoints.openai.api_server \
--model "kataguru/Kataguru-Polyglot-264E-35B-A3B" \
--tensor-parallel-size 4 \
--max-model-len 65536 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser qwen3 \
--host 0.0.0.0 --port 8003
Подробнее
Бенчмарки (замерены на квантованной версии NVFP4): среднее по 15 тестам — 69,70%, GPQA Diamond (PhD STEM) — 68,18%, GSM8K — 87,64%, BFCL V4 (вызов функций) — 83,47%, LiveCodeBench v6 — 36,00%.Требования к железу: веса в полном формате BF16 занимают 68,89 ГБ на диске; для запуска в vLLM рекомендуется от 80 ГБ суммарной VRAM (конфигурация TP=2 или TP=4); также авторы выпустили версии NVFP4, W4A16-AWQ и GGUF.
Ограничения: для строгого прямого перевода без вывода цепочки рассуждений лучше отключать режим размышлений (
think=False, точность 13/14 на Live-14 против 10/14 при think=True).Лицензия: веса и конфиги открыты под Apache-2.0 (с сохранением файла NOTICE).










Комментарии