VLM-all-inclusive (OmniVLM)
омни-модель с нуля, которая видит, слышит, говорит и шевелит губами
2 мин чтенияобновлено
Исследовательский проект от hkblockchaintechnology: единая нейросеть, обученная полностью с нуля на одной видеокарте без готовых предобученных бэкбонов (вроде готовых ViT или HiFi-GAN). Модель принимает картинку и вопрос, генерирует текстовый ответ, озвучивает его и рендерит видео с говорящей головой и синхронизированным липсинком, а также умеет распознавать речь на входе. Вся мультимодальность строится вокруг общего словаря (8011 слов + 39 фонем ARPAbet) и единого ствола весов (trunk), где речевые головы обучаются в режиме multi-task вместе со зрением. Подойдёт исследователям мультимодальных архитектур и энтузиастам, которым интересен полный цикл обучения омни-моделей end-to-end.
Ключевые особенности
- Полный цикл с нуля: зрение (ViT, 10 слоёв, сцены 128px), языковой мозг (16-слойный трансформер с RoPE и cross-attention), слух (CTC-распознаватель фонем), голос (декодер в духе FastSpeech) и вокодер (в духе Vocos с ConvNeXt и ISTFT) написаны и обучены без внешних предобученных модулей.
- Единое пространство токенов: общие веса обрабатывают визуально-языковые задачи и одновременно управляют синтезом речи и артикуляцией, не разделяя модель на изолированные копии.
- Встроенный липсинк-рендерер: модель преобразует собственную временную шкалу фонем (ARPAbet) в виземы и параметры движения рта, челюсти и бровей, собирая итоговый ролик
mp4черезffmpeg. - Генерация сцен прямо на GPU: визуально-языковой датасет (фигуры, цвета, размеры, счёт, пространственные отношения на сетке 3×3) рендерится векторизованным растеризатором на видеокарте, чтобы не простаивать в ожидании CPU.
Что можно сделать
- Изучить архитектуру multi-task омни-моделей: разобрать код обучения единого ствола весов, где CTC-слух сам размечает данные для речевого декодера без внешнего forced aligner.
- Заменить синтетические сцены на реальные данные: по инструкции автора можно подменить модуль
omni/scenes.pyна реальный датасет для VQA или описания изображений и дообучить модель. - Протестировать сквозную генерацию видеоответа: запустить метод
OmniSystem.test_to_movie(), чтобы на одной GPU за ~2.5 секунды получить ролик с озвученным ответом на вопрос по сцене.
Пример
python -m omni.train --stage vlm --preset xl --steps 8000 --batch 384
python -m omni.train --stage ear --steps 4000 --batch 24
python -m omni.train --stage align
python -m omni.train --stage speech --steps 6000 --batch 24
python -m omni.train --stage vocoder --steps 4000 --batch 16
Подробнее
Обучалось на RTX PRO 6000 Blackwell (100 ГБ VRAM); в текущем снапшоте пройдены 251 шаг для VLM (loss 0.1577), 503 шага для ear и 2251 шаг для vocoder (этапы align и speech ещё не запускались).Речевая часть обучена на одном дикторе из датасета LJSpeech-1.1 (24 часа, CMUdict).
Ограничения: визуальный корпус пока состоит из синтетических геометрических фигур, липсинк использует аналитический 2D-рендерер вместо фотореалистичной генерации, RLHF и модерация отсутствуют.










Комментарии