NeuroRVQ-LLM-Qwen2.5-7B
декодирование сигналов ЭЭГ в текст с помощью языковой модели
2 мин чтения
Эта модель решает задачу BCI (интерфейс «мозг-компьютер»): она переводит данные электроэнцефалографии (ЭЭГ), записанные во время чтения текстов, обратно в осмысленные предложения. В основе лежит базовая LLM (большая языковая модель) Qwen/Qwen2.5-7B-Instruct, доученная с помощью LoRA (небольшая надстройка над базовой моделью для эффективного обучения) и специального метода Residual Vector Quantization (RVQ, остаточное векторное квантование) для обработки данных мозга. Модель обучена на датасетах ZuCo и тестировалась на независимых участниках без использования teacher forcing (метода подсказок при обучении генерации). Проект пригодится исследователям в области нейроинтерфейсов и когнитивных наук.
Ключевые особенности
- Qwen2.5-7B база: Использует мощную языковую модель
Qwen/Qwen2.5-7B-Instructв качестве генератора текста. - Connectome-Guided RVQ: Применяет квантование векторов для стабильного кросс-субъектного декодирования сигналов ЭЭГ.
- Subject-Independent: Протестирована на совершенно новых испытуемых (zero-shot для unseen subjects), показав стабильное превосходство над случайным шумом.
- Полный комплект весов: Включает чекпоинты этапов, проектор
BrainToLLMProjectorи PEFT LoRA адаптер.
Что можно сделать
- Интеграция в пайплайн BCI: Использовать готовые веса и конфигурации из репозитория для воспроизведения экспериментов по декодированию ЭЭГ.
- Анализ качества генерации: Протестировать генерацию текста на собственных наборах данных нейровизуализации или запустить бенчмарки из репозитория.
- Исследование проекций: Изучить, как 2-слойный проектор отображает дискретные токены мозга в эмбеддинговое пространство языковой модели.
Пример
Пример сопоставления реального предложения (Ground-Truth) и раскодированного моделью текста (NeuroRVQ-LLM Decoded Output) для невиданного ранее субъекта:
Ground-Truth: Presents a good case while failing to provide a reason for us to care beyond the very basic dictums of human decency.
Decoded Output: Despite the holes in the story and the somewhat predictable plot, moments of the movie caused me to jump in my chair...
Подробнее
• Датасеты: ZuCo 1.0 & ZuCo 2.0 (18 276 испытаний на 30 уникальных испытуемых).• Метрики (Stage 1 Zero-Shot Retrieval): R@1 9.90%, R@5 35.08%, R@10 56.09%, MRR 23.14% (на 1 313 предложениях).
• Метрики (Stage 2 Open-Vocabulary): BLEU-1 19.60%, BLEU-4 9.89%, ROUGE-1 F1 19.58%, WER 90.85%.
• Архитектура: Rank-16 BF16 LoRA + 50% Scheduled Target-Word Dropout на базе Qwen2.5-7B-Instruct.










Комментарии