Index-Translate-omni-35B-GGUF
квантованная версия мультимодальной переводческой модели
1 мин чтения
Это экспорт крупной мультимодальной модели семейства Index-Translate в формате GGUF для запуска через llama.cpp (инструмент для локального запуска LLM). Модель создана для перевода текстов, работы с терминологией, перевода изображений и распознавания речи с упором на китайский и английский языки. Архитектура основана на 35 миллиардах параметров. Релиз позволяет запускать мощную систему на потребительском железе с разной степенью сжатия от f16 до Q2_K.
Ключевые особенности
- Поддержка текстового перевода, включая учет терминологии и форматов.
- Мультимодальные возможности: перевод текстов прямо с изображений.
- Формат GGUF: оптимизирован для локального запуска в llama.cpp на различном железе.
- Большой выбор квантований: от полной точности f16 до сильно сжатых вариантов вроде Q4_K_M.
Что можно сделать
- Запустить текстовый перевод и локальную обработку запросов через консольный интерфейс llama.cpp.
- Переводить текст с картинок, подключив отдельный файл визуального проектора (`mmproj`).
- Потестировать разные уровни квантования для подбора оптимальной скорости и потребления памяти под ваше железо.
Пример
llama-cli -m Index-Translate-omni-35B.Q4_K_M.gguf -ngl 99 --single-turn \
-p 'Translate into English: 人工智能正在改变内容创作。'Подробнее
Пакет содержит языковые веса и отдельный визуальный проектор (`mmproj`).Оригинальная модель показывает высокие результаты на бенчмарках FLORES и WMT.
Аудиомодули в этот GGUF-экспорт не вошли (для работы со звуком требуются оригинальные репозитории).
Размер файлов составляет от 12.94 GB (Q2_K) до 44.67 GB (f16).










Комментарии