Датасет · CohereLabs
Многоязычные инструкции Aya
CohereLabs/aya_dataset
204 тыс. пар «запрос — ответ» на 65 языках для обучения и оценки многоязычных LLM.
Что внутри
Датасет собран сообществом Aya Open Science Initiative через платформу аннотации. В нём 204 тыс. пар prompt-completion, написанных людьми, плюс демографические данные аннотаторов. Покрыто 65 языков (71 с диалектами), размер — от 100 тыс. до 1 млн примеров.
Что можно сделать
- Дообучить многоязычную LLM на человеческих инструкциях
- Оценить качество ответов на редких языках
- Создать LoRA для инструкций на нескольких языках
- Задачи
- Другое
- Языки
- amh, arb, ary, ars, acq, arz, apc, ben и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 24 тыс.
- Лайков
- 381
Модели, обученные на нём
- BSC-LT/salamandra-7b-instruct-2606Генерация текста 9 тыс.
- Horizon-Labs/prompt-injection-guard-baseКлассификация текста 6,2 тыс.
- Horizon-Labs/prompt-injection-guard-smallКлассификация текста 4,1 тыс.
- CohereLabs/aya-101 2,9 тыс.
- mradermacher/Aitana-7B-S-Instruct-i1-GGUFГенерация текста 2,2 тыс.
- BSC-LT/ALIA-40b-instruct-2606Генерация текста 1,6 тыс.
- yunusemrejr/BlazingKiwi-EN-135MГенерация текста 1,5 тыс.
- mradermacher/ALIA-40b-instruct-2601-i1-GGUF 1,3 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/aya_dataset")