CoSTA-MIX

CoSTA-MIX — чекпоинт для голосового диалога на китайском и английском, адаптированный из Step-Audio-2-mini. Модель на 8,89 млрд параметров сжимает последовательности речевых токенов обученным BPE-словарём, а перед синтезом волны разворачивает их обратно без потерь. Это финальная версия после расширения словаря, адаптации произношения и диалоговой адаптации.

✨ Ключевые особенности

• 🌕 Базируется на Step-Audio-2-mini; поддерживает китайский и английский.
• 🧃 Речевые токены сжимаются через BPE; обратное развёртывание lossless до исходного speech-token space.
• 💻 BF16-веса: 238 352 текстовых и речевых token ID, включая 80 000 добавленных speech tokens.
• 🔥 Отдельный speech BPE-словарь на 86 656 записей: 6 656 исходных и 80 000 merged units.
• 📓 Apache-2.0; inference через кастомную реализацию Transformers 4.49.0 и репозиторий CoSTA, не через обычный pipeline.

💻 Пример

export COSTA_LANGUAGE=mix
source scripts/env.sh
hf download D-YZ/CoSTA-MIX --local-dir "checkpoints/CoSTA-MIX"
hf download stepfun-ai/Step-Audio-2-mini \
  --include "token2wav/*" --local-dir "$BASE_MODEL_PATH"
export MODEL_PATH="$PWD/checkpoints/CoSTA-MIX"
CUDA_VISIBLE_DEVICES=0 bash inference/infer_costa.sh

Подробнее

Бенчмарки в карточке не приведены — оценка на URO-Bench описана в статье.
Нужны Transformers 4.49.0, кастомная реализация и внешний token2wav-декодер из базовой модели.
Часть данных адаптации синтетическая; возможны фактические ошибки, качество зависит от языка и акустики.
Лицензия Apache-2.0.