Датасет · google
Профессиональные переводы для 221 редкого языка
google/smol
Коллекция профессиональных переводов на 221 низкоресурсный язык для обучения переводческих моделей.
Что внутри
SMOL — набор профессиональных переводов на 221 язык с низкими ресурсами. Включает SmolDoc с переводами на уровне документов для 130 языковых пар (129 уникальных языков) и SmolSent. Объём — от 10 до 100 тыс. записей; формат в карточке не уточнён.
Что можно сделать
- Обучить модель перевода для редких языков
- Проверить перевод на уровне документов
- Дообучить LoRA под конкретную низкоресурсную пару языков
- Задачи
- Перевод
- Языки
- aa, ab, abq, ace, ach, ady, aeb, af и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 9,1 тыс.
- Лайков
- 138
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/smol")