Looped Transformer 485M
компактный рекуррентный трансформер под Apple MLX с рассуждениями
2 min readupdated
Компактная языковая модель от автора Suvir-Misra на 485.1 млн параметров, созданная нативно под фреймворк Apple MLX и дообученная на законодательстве и судебной практике Индии. Вместо стандартной линейной архитектуры здесь используется рекуррентная глубина (Looped Transformer): 8 физических слоёв прогоняют скрытое состояние по кругу 3 раза, что даёт виртуальную глубину в 24 слоя при весе всего около 1.8 ГБ в FP16. Перед ответом модель генерирует пошаговые рассуждения в тегах ... по методу Chain-of-Draft, сверяя нормы законов и исключения. Подойдёт разработчикам на Mac для локальных edge-помощников, RAG-систем и экспериментов с рекуррентными архитектурами.
Ключевые особенности
- Рекуррентная глубина: 8 физических слоёв повторяются 3 раза за один прямой проход (виртуальные 24 слоя) с общими весами.
- Защита от затухания сигнала: на каждой итерации цикла заново подмешиваются эмбеддинги входных токенов, используются эмбеддинги номера шага (0, 1, 2) и четыре слоя нормализации RMSNorm на блок.
- Рассуждения Chain-of-Draft: 100% обучающих примеров размечены пошаговыми черновиками внутри
для проверки статей и расчётов до финального ответа. - Многоэтапное обучение: SFT на 9,579 парах IndicLegalQA и кодексах Индии, выравнивание ORPO против выдуманных ссылок на дела и слияние чекпоинтов методом TIES.
Что можно сделать
- Развернуть локального юридического ассистента на Mac через Apple MLX для проверки пороговых значений и норм индийского права (BNS 2023, CPC 1908, Income-tax Act, CGST).
- Подключить модель как лёгкий reasoning-модуль в RAG-пайплайны (генерация с опорой на внешние документы) для анализа договоров и нормативных актов.
- Использовать код и веса как референс для изучения рекуррентных трансформеров и компактных рассуждающих SLM на устройствах Apple Silicon.
Пример
import mlx.core as mx
from generate import load_model, generate
model, tok, cfg = load_model(".")
prompt = "What does the fundamental criminal law maxim 'Actus non facit reum nisi mens sit rea' mean?"
response = generate(model, tok, cfg, prompt, max_new=220, temp=0.2)
print(response)
Подробнее
Бенчмарк Indian Legal & Procedural Benchmark Suite: 16 из 16 пройденных тестов (100%), в 100% случаев модель корректно открыла и закрыла тег рассуждений.Параметры и память: 485.1M параметров (~1.8 ГБ весов в FP16), окно контекста — 4,096 токенов, запуск через Apple MLX.
Ограничения: из-за компактного размера (485M) модель не предназначена для автономных юридических консультаций без проверки человеком или опоры на документы через RAG.










Comments