Датасет · ai4bharat
Sangraha: корпус индийских языков
ai4bharat/sangraha
Крупнейший очищенный корпус для предобучения на 22 индийских языках, 251 млрд токенов.
Что внутри
Sangraha — крупнейший высококачественный очищенный корпус для предобучения на индийских языках. Содержит 251 млрд токенов по 22 языкам, включая ассамский, бенгальский, гуджарати, английский, хинди и каннада. Данные взяты из курируемых источников, существующих многоязычных корпусов и крупномасштабных переводов; в карточке есть статья и пайплайны очистки.
Что можно сделать
- Для предобучения LLM на индийских языках
- Для continued pretraining многоязычной модели
- Для оценки качества очистки и покрытия языков
- Задачи
- Генерация текста
- Языки
- as, bn, gu, Английский, Хинди, kn, ks, ml и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 66,9 тыс.
- Лайков
- 90
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ai4bharat/sangraha")