К содержимому

Датасет · facebook

Бенчмарк LAMA для проверки знаний языковых моделей

facebook/lama

Набор текстовых данных на английском языке от Facebook Research для оценки фактологических знаний в предобученных LLM.

Что внутри

В датасете собрано от 10 до 100 тысяч примеров на английском языке, предназначенных для зондирования и анализа фактологических и общих знаний (commonsense), заложенных в языковые модели. Набор подготовлен командой Facebook Research и используется для задач поиска и классификации текста.

Что можно сделать

  • Оценка объёма фактологических знаний предобученных LLM без дообучения
  • Сравнение моделей в задачах извлечения фактов и заполнения пропусков
Задачи
Поиск по текстам, Классификация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
3,3 тыс.
Лайков
20

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("facebook/lama")