К содержимому

Авторская тема

MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов

Looped Transformer + MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов

prisstik Основатель@prissetik
MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов

Looped Transformer + MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов

Независимый разработчик воспроизвёл архитектуру NVIDIA Dory на модели всего с 26 млн параметров и обнаружил интересную особенность: повторный выбор MoE-экспертов на каждой итерации заметно улучшает решение многошаговых математических задач.

В обычном Transformer каждый слой имеет собственные веса. В Looped Transformer один и тот же блок используется несколько раз, позволяя модели последовательно уточнять внутренние представления без увеличения количества параметров.

Автор эксперимента добавил четыре небольших MoE-эксперта в общий рекуррентный блок и сравнил два подхода:

  • Фиксированная маршрутизация: эксперт выбирается на первой итерации и используется на всех последующих.
  • Динамическая маршрутизация: модель заново выбирает эксперта для каждого токена перед каждой итерацией.

Результаты

Подход / Метрика Значение
Фиксированный выбор экспертов 59,7% точности
Повторный выбор экспертов 71,3% точности
Прирост 11,6 процентного пункта
Test loss в обоих случаях 1,711

Улучшение наблюдалось во всех трёх запусках с разными seed. Наибольшая разница проявилась в сложных арифметических задачах с несколькими последовательными операциями.

Параметры эксперимента

  • 26 млн параметров.
  • 1,2 млрд обучающих токенов на модель.
  • 4 MoE-эксперта.
  • PyTorch и арендованные RTX 4090 через Vast.ai.
  • Около $130 на описанную серию экспериментов.

Ещё один интересный результат — «one-loop tax»

Автор также воспроизвёл эффект, при котором модель, обученная только с одной итерацией, практически сравнялась с рекуррентной моделью на трёх итерациях, потребляя примерно втрое меньше вычислений при инференсе.

Это показывает, что дополнительные циклы не всегда дают реальный выигрыш: часть улучшения может быть лишь компенсацией особенностей обучения с переменным числом итераций.

Почему это важно?

Эксперимент предполагает, что последовательное применение разных экспертов может быть полезнее фиксированного выбора на всех этапах вычислений. Это потенциально интересное направление для компактных reasoning-моделей, где важно эффективно использовать ограниченное количество параметров.

Однако результаты пока получены на маленьких моделях и ограниченном наборе задач. Для подтверждения эффективности подхода на крупных LLM потребуются дополнительные исследования.

Автор исследования: [u/Conscious-Ad-6039 (Reddit)](https://www.reddit.com/r/learnmachinelearning/comments/1xv9asm/reselecting

Исходный код, тесты и журнал экспериментов: https://github.com/Davidooff/Spidory

Основа архитектуры: NVIDIA Dory.

#LLM #MoE #Transformer #NVIDIA #PyTorch #Reasoning #Исследования

0Обсудить

Комментарии