Meridian21Lab/concept-memory-140m-11.5bt
компактная языковая модель с концептуальной памятью для длинных текстов
2 мин чтенияобновлено
Новая базовая модель (не дообученная под диалоги) размером 141.5 миллиона параметров обучена на 11.5 миллиардах токенов с использованием уникальной концептуальной памяти (concept memory). Во время чтения модель разбивает уже увиденный текст на небольшие кластеры токенов («концепты» примерно по 8 штук) и сохраняет их сводки, перечитывая только самые важные для следующего слова. Хотя каждый локальный слой видит лишь последние 128 токенов, модель способна обрабатывать контекст длиной до 64k токенов (около 50 000 слов). Разработка создана в рамках проекта MrCogito для эффективного сжатия длинных текстов и рассуждения над ними.
Ключевые особенности
- Лидер среди аналогов по длинному контексту: На документах длиной 64k токенов предсказывает текст лучше моделей своего размера (0.795 бит на байт).
- Использование всей истории: Качество предсказаний стабильно растет по мере увеличения контекста вплоть до 61k токенов.
- Высокая дата-эффективность: Показывает отличные результаты в грамматике (BLiMP 80.56%) при скромном бюджете обучения всего в 11.5 млрд токенов.
- Доступность железа: Полная обработка документа на 64k токенов выполняется за один проход на обычной видеокарте RTX 3090 с 24 ГБ VRAM.
Что можно сделать
- Исследовать обработку больших текстов: Протестировать работу модели с длинными книгами, научными статьями и отчетами в рамках исследовательских задач.
- Интегрировать в конвейеры анализа: Использовать как эффективную базовую модель для проектов, требующих удержания в контексте больших объемов информации при ограниченных ресурсах.
- Изучать архитектуру памяти: Экспериментировать с механизмами концептуального сжатия текста и сравнить подходы к работе с длинным контекстом.
Пример
Пример генерации текста (температура 0.7, top-p 0.9):
The capital of France is Paris, the second largest city in the world, with a population of 7.5 million people. It is known for its rich history and culture, as well as its iconic landmarks such as the Eiffel Tower, Louvre Museum, and Notre-Dame Cathedral. …
Подробнее
Бенчмарки: BLiMP (грамматика) — 80.56%, ARC-Easy — 48.95%, длинный контекст (64k) — 0.795 бит на байт.Требования к железу: одна видеокарта RTX 3090 (24 ГБ VRAM) для прогона документов на 64k токенов.
Ограничения: исследовательский релиз, базовая модель (не instruction-tuned), обучена на одном сиде.
Детали обучения: 141.5M параметров, 11.5B публичных токенов, стоимость обучения около $320 (примерно 40 часов на узле с 4 GPU).










Комментарии