Parakeet TDT 0.6B v3

ArdaOkan адаптировал NVIDIA Parakeet TDT 0.6B v3 для распознавания турецкой речи. В основе — rank-8 LoRA по вниманию во всех 24 слоях энкодера, при этом декодер, проекторы энкодер/декодер и joint-голова обучены полностью. Релиз экспериментальный: выбран чекпоинт update 400 000 с лучшим Turkish DEV WER.

🧩 Ключевые особенности

• ⚙️ 192 LoRA-тензора rank-8 (alpha 16, dropout 0) плюс 15 полностью обученных тензоров декодера, проекторов и joint-головы.
• 🌐 Приоритет у турецкого, с реплеем английского, испанского, итальянского, французского, немецкого и португальского; остальные языки базовой модели не оценивались.
• 🔤 Добавлены турецкие символы и BPE-куски из корпуса, токенизатор расширен до 9 222 лексических единиц.
• 💳 Веса лежат в adapter_model.safetensors (~84,1 MB); это нативный формат NeMo, а не PEFT-адаптер.
• ⛔ Лицензия CC BY-NC 4.0: только некоммерческое использование, с атрибуцией и указанием изменений.

🔬 Пример

from huggingface_hub import snapshot_download
import importlib.util, torch
folder = snapshot_download("ArdaOkan/parakeet-tdt-0.6b-v3-tr-experimental-lora")
spec = importlib.util.spec_from_file_location("parakeet_adapter", folder + "/load_adapter.py")
loader = importlib.util.module_from_spec(spec)
spec.loader.exec_module(loader)
model = loader.load_model(folder, device="cpu", cache_dir="./model_cache")
print(model.transcribe(["audio.wav"], batch_size=1)[0].text)