SIMB
кросс-модальная модель для работы с речью и изображениями
1 мин чтенияобновлено
Модель SIMB от команды KU-AGI объединяет возможности визуального эксперта Janus-Pro-7B и речевого эксперта на базе Qwen2.5-3B. Она решает задачи кросс-модального синтеза: генерацию картинок по звуку (speech-to-image), создание речи по изображению (image-to-speech) и устные ответы на визуальные вопросы (spoken VQA). Базовый визуальный эксперт при этом остается замороженным и идентичным оригиналу, а связь между модальностями обеспечивают специальные мостовые блоки (bridges). Новинка будет интересна исследователям и разработчикам мультимодальных систем.
Ключевые особенности
- Поддержка генерации изображений по аудиозаписям
- Обратное преобразование картинок в речевые токены
- Возможность задавать вопросы по картинкам и получать устный ответ
- Полностью автономный репозиторий, не требующий скачивания сторонних весов
Что можно сделать
- Сгенерировать изображение по звуковому промпту с помощью встроенного кода
- Озвучить визуальный контент в мультимодальных пайплайнах
- Создать экспериментальный голосовой ассистент с пониманием изображений
Пример
from simb import SIMB # pip install -e . in [https://github.com/KU-AGI/SIMB](https://github.com/KU-AGI/SIMB)
model = SIMB.from_pretrained("KU-AGI/SIMB")
image, _ = model.generate_image("prompt.wav", seed=0)
Подробнее
Общий объем параметров: 11.8BФормат весов: bf16 (для основных компонентов)
Базовые модели: Janus-Pro-7B, Qwen2.5-3B, DualCodec, w2v-BERT 2.0
Лицензия: комбинированная (требует соблюдения условий DeepSeek, Qwen и MIT)










Комментарии