Параллельные тексты для многих языковых пар

Что внутри

Датасет создан на основе метаданных для mined bitext, выпущенных Meta AI. Он содержит битексты для 148 языковых пар с английским и 1465 пар без английского, полученные с помощью библиотеки stopes и энкодеров LASER3. Полный объём — около 450 ГБ; в карточке также упоминается CCMatrix с предыдущими версиями mined instructions.

Что можно сделать

• Обучить модель машинного перевода для многих языков
• Проверить перевод на низкоресурсных языковых парах
• Дообучить NLLB-подобную модель на mined bitext

Модели, обученные на нём

• mradermacher/X-ALMA-13B-Pretrain-i1-GGUF 737
• mradermacher/X-ALMA-13B-Group5-GGUF 673
• mradermacher/X-ALMA-13B-Group4-GGUF 650
• mradermacher/X-ALMA-13B-Group6-GGUF 367
• mradermacher/X-ALMA-13B-Group8-GGUF 330
• haoranxu/X-ALMA-13B-Group1 307
• haoranxu/X-ALMA-13B-Group5 305
• haoranxu/X-ALMA-13B-Group2 293

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/nllb")