Nova

Nova — это LoRA-адаптер и слитые веса для Fish Speech 1.5 от Twinber (Daniel). Модель синтезирует речь на испанском (кастельяно) с высокой тембральной точностью и эмоциональной модуляцией: от спокойной дидактики до иронии и торжественности.

🤔 Ключевые особенности

• 🗣 База — DualARTransformer Fish Speech 1.5 на 644M параметров.
• 😍 LoRA с r=8, alpha=16, dropout=0.1; около 6.2M обучаемых параметров в bfloat16.
• 📝 В репозитории есть слитый model.pth (~1.2 GB), чекпоинты LoRA, 18 эталонных записей и 10 аудиосэмплов.
• 👍 Обучение шло на 377.68 секунды студийной испанской речи, записанной в Broadcast WAV 24-bit 48kHz.
• 🤝 Лицензия CC-BY-NC-SA-4.0: некоммерческое использование с указанием авторства.

📝 Пример

python tools/llama/generate.py \
  --checkpoint-path checkpoints/fish-speech-1.5-nova-lora \
  --text 'Hola mundo. Soy Nova y esta es mi voz libre.' \
  --prompt-tokens checkpoints/fish-speech-1.5-nova-lora/references/nova_02_calida_afectuosa.npy \
  --prompt-text 'Da igual lo complejo que sea el día.' \
  --device cuda \
  --output-path output_nova.wav

Подробнее

На шаге 100: val_loss = 3.85, top_5_accuracy = 53.1%.
LoRA обучена на 1× NVIDIA GeForce RTX 3090 (24GB VRAM), 100 шагов AdamW.
Язык — только испанский; датасет небольшой — 18 записей.
Базовая архитектура: Fish Speech 1.5, декодер Firefly VQ-GAN.