Датасет · memorilla
Данные с готовыми эмбеддингами для модулей памяти LLM
memorilla/Memorilla-Data
Миллионы пар «вопрос-ответ» с коллекциями документов и готовыми векторами Qwen3-Embedding-4B.
Что внутри
Внутри лежат текстовые данные на английском языке объёмом от 1 до 10 миллионов записей. Каждая строка связывает вопрос и эталонный ответ с набором исходных документов, на которых этот ответ базируется. Датасет создан для обучения и оценки Memorilla — модуля памяти, сжимающего документы в набор токенов для замороженной языковой модели. В набор уже включены предрасчитанные векторы Qwen3-Embedding-4B для всех текстов и вопросов.
Что можно сделать
- Обучение модулей сжатия контекста и внешней памяти для LLM
- Тестирование RAG-систем с опорой на заданную коллекцию документов
- Тренировка моделей для ответов на вопросы по множественным источникам без пересчёта эмбеддингов
- Задачи
- Вопрос-ответ, Суммаризация, Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("memorilla/Memorilla-Data")