LongCap-35B-A3B

LongCap превращает запись длительностью от нескольких секунд примерно до двух часов в таймлайн событий речи, музыки и звуков: у каждого события есть начало, конец и структурированный набор атрибутов. Тот же чекпоинт транскрибирует речь с метками говорящих. Это BF16-версия на базе Qwen3.5-35B-A3B-Base, 35,31 млрд параметров.

🔥 Ключевые особенности

• 🔥 Часовая шкала: читает запись короткими чанками и по ходу пишет события, удерживая предыдущее аудио и текст в контексте до 1M токенов.
• 🦾 62 экспертных ключа: атрибуты для речи, музыки и звуков — от темпа и инструментов до эмоции и дистанции источника.
• 🎤 Две задачи в одном чекпоинте: аудиокаптионинг с таймкодами и распознавание речи с диаризацией.
• ✅ Сильные каптионы: 64,6% tcpCapSim на LongCapBench-TAC-Short против 52,7% у Qwen3.5-Omni-Plus при близкой ошибке таймлайна.
• ⬇ Две версии: BF16 для двух H100 80GB и FP8 для одной H100 80GB; квантованы только веса MoE-экспертов.

👁 Пример

На 87-й минуте 110-минутного фильма A Star Is Born (1937) модель за один проход выдаёт четыре события: шаги с удалением, две короткие реплики Нормана и соло трубы на смене сцены. Время — в секундах от начала записи.

Подробнее

Бенчмарк: 64,6% tcpCapSim на LongCapBench-TAC-Short против 52,7% у Qwen3.5-Omni-Plus; TER 13,0% против 13,2%.
BF16-чекпоинт весит 70,6 ГБ и рассчитан на 2× H100 80GB; FP8-версия — 38,4 ГБ и одна H100 80GB.
Это research release: возможны пропущенные или выдуманные события, ошибки таймкодов, транскрипции и атрибутов; не для идентификации людей и продакшена.