Датасет · ai4bharat
Параллельный корпус для английского и 11 языков Индии
ai4bharat/samanantar
49,6 млн пар предложений для обучения систем перевода между английским и основными индийскими языками.
Что внутри
Samanantar представляет собой крупную коллекцию параллельных текстов между английским и 11 языками Индии: ассамским, бенгальским, гуджарати, хинди, каннада, малаялам, маратхи, ория, панджаби, тамильским и телугу. Всего в корпусе собрано 49,6 миллиона пар предложений. Данные представлены в текстовом формате.
Что можно сделать
- Обучение двуязычных и мультиязычных моделей машинного перевода
- Выравнивание кросс-языковых представлений в эмбеддингах
- Дообучение LLM для работы с индийскими языками
- Задачи
- Генерация текста, Перевод
- Языки
- Английский, as, bn, gu, Хинди, kn, ml, mr и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 2,8 тыс.
- Лайков
- 49
Модели, обученные на нём
- toonist/AnuLM-Translate-400MГенерация текста 418
- mradermacher/Misal-1B-base-v0.1-GGUF 383
- mradermacher/Misal-7B-base-v0.1-GGUF 311
- mradermacher/gujarati-finetune-llama3b-GGUF 176
- Varsha00/finetuned-opusmt-en-to-ta 29
- smallstepai/Misal-7B-base-v0.1Генерация текста 24
- smallstepai/Misal-1B-base-v0.1Генерация текста 20
- Varsha00/t5-small-en-to-ta 20
Как загрузить
from datasets import load_dataset
ds = load_dataset("ai4bharat/samanantar")