К содержимому

Датасет · ai4bharat

Параллельный корпус для английского и 11 языков Индии

ai4bharat/samanantar

49,6 млн пар предложений для обучения систем перевода между английским и основными индийскими языками.

Что внутри

Samanantar представляет собой крупную коллекцию параллельных текстов между английским и 11 языками Индии: ассамским, бенгальским, гуджарати, хинди, каннада, малаялам, маратхи, ория, панджаби, тамильским и телугу. Всего в корпусе собрано 49,6 миллиона пар предложений. Данные представлены в текстовом формате.

Что можно сделать

  • Обучение двуязычных и мультиязычных моделей машинного перевода
  • Выравнивание кросс-языковых представлений в эмбеддингах
  • Дообучение LLM для работы с индийскими языками
Задачи
Генерация текста, Перевод
Языки
Английский, as, bn, gu, Хинди, kn, ml, mr и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
2,8 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ai4bharat/samanantar")