Датасет · ginigen-ai
Бенчмарк для оценки компактных языковых моделей
ginigen-ai/smol-worldcup
Мультиязычный набор данных для комплексного тестирования малых LLM по пяти осям: от точности до эффективности.
Что внутри
Небольшой набор (до 1000 примеров) в текстовом и табличном форматах на шести языках: английском, корейском, арабском, португальском, турецком и бенгальском. Датасет создан для проекта Smol AI WorldCup — фреймворка оценки компактных языковых моделей по пяти критериям, включая честность, скорость, размер и эффективность.
Что можно сделать
- Бенчмаркинг и сравнение компактных языковых моделей по совокупности качества, скорости и размера
- Проверка мультиязычных способностей небольших LLM в задачах генерации текста и ответов на вопросы
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский, Корейский, Арабский, Португальский, Турецкий, bn, Тайский
- Размер
- до 1K записей
- Скачиваний за месяц
- 402
- Лайков
- 47
Как загрузить
from datasets import load_dataset
ds = load_dataset("ginigen-ai/smol-worldcup")