
Article
MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов
Looped Transformer + MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов

Article
Looped Transformer + MoE: точность выросла с 59,7% до 71,3% благодаря повторному выбору экспертов

Article
FlashAttention-4 84,14 с 1,01× Базовый PyTorch SDPA 85,07 с 1,00× мы ожидали большего.