К содержимому

Датасет · ginigen-ai

Бенчмарк для оценки компактных языковых моделей

ginigen-ai/smol-worldcup

Мультиязычный набор данных для комплексного тестирования малых LLM по пяти осям: от точности до эффективности.

Что внутри

Небольшой набор (до 1000 примеров) в текстовом и табличном форматах на шести языках: английском, корейском, арабском, португальском, турецком и бенгальском. Датасет создан для проекта Smol AI WorldCup — фреймворка оценки компактных языковых моделей по пяти критериям, включая честность, скорость, размер и эффективность.

Что можно сделать

  • Бенчмаркинг и сравнение компактных языковых моделей по совокупности качества, скорости и размера
  • Проверка мультиязычных способностей небольших LLM в задачах генерации текста и ответов на вопросы
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский, Корейский, Арабский, Португальский, Турецкий, bn, Тайский
Размер
до 1K записей
Скачиваний за месяц
402
Лайков
47

Как загрузить

from datasets import load_dataset

ds = load_dataset("ginigen-ai/smol-worldcup")