Датасет · facebook
Бенчмарк LAMA для проверки знаний языковых моделей
facebook/lama
Набор текстовых данных на английском языке от Facebook Research для оценки фактологических знаний в предобученных LLM.
Что внутри
В датасете собрано от 10 до 100 тысяч примеров на английском языке, предназначенных для зондирования и анализа фактологических и общих знаний (commonsense), заложенных в языковые модели. Набор подготовлен командой Facebook Research и используется для задач поиска и классификации текста.
Что можно сделать
- Оценка объёма фактологических знаний предобученных LLM без дообучения
- Сравнение моделей в задачах извлечения фактов и заполнения пропусков
- Задачи
- Поиск по текстам, Классификация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3,3 тыс.
- Лайков
- 20
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/lama")