Датасет · amazon-agi
50 млн инструкций для речевых языковых моделей от Amazon
amazon-agi/SIFT-50M
Масштабный мультиязычный корпус на базе 14 000 часов аудио для обучения пониманию и генерации речи.
Что внутри
SIFT-50M включает 50 миллионов примеров для претрейна и SFT-дообучения речевых языковых моделей на пяти языках: английском, немецком, французском, итальянском и испанском. Корпус собран компанией Amazon AGI на основе открытых речевых баз общей длительностью 14 000 часов с привлечением LLM и экспертных моделей. Данные охватывают задачи понимания речи, классификации аудио и управляемого синтеза голоса.
Что можно сделать
- Претрейн и SFT-дообучение мультимодальных аудио-текстовых LLM
- Обучение систем управляемого синтеза речи (text-to-speech)
- Создание мультиязычных голосовых ассистентов
- Задачи
- audio text to text, Классификация аудио, Синтез речи, Обработка аудио
- Языки
- Английский, Немецкий, Французский, Итальянский, Испанский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 4 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("amazon-agi/SIFT-50M")