o1
экспериментальная модель на 3.32M параметров с константным состоянием
2 min readupdated
Компактная языковая модель o1 от исследователя David Tom Foss построена на базе собственной архитектуры GSSM (Geometric State Space Models — геометрические модели пространства состояний). Вместо классического растущего KV-кэша (памяти контекста у трансформеров) она сжимает поток токенов в фиксированный буфер размером всего 32 512 байт со сложностью O(1) на токен. Модель поддерживает непрерывное онлайн-дообучение прямо во время работы, встроенную алгебру на 16 операций и криптографически связанный граф причинно-следственных связей Weltbuch. Из-за скромного размера в 3.32 млн параметров она не решает сложные задачи программирования самостоятельно, но годится как сверхбыстрый модуль памяти и маршрутизации для крупных LLM.
Ключевые особенности
- Константное состояние 32 512 байт независимо от длины контекста без раздувания KV-кэша.
- Онлайн-пластичность GSSM: веса адаптируются в реальном времени без перезапуска и с нулевым приростом памяти.
- Двуязычный диалог из коробки (английский и немецкий) без внешних парсеров инструментов.
- Встроенный граф знаний
Weltbuch(48 верифицированных триплетов) с проверкой целостности по хешам. - Высокая скорость инференса — до 3 355.7 tok/s на нейропроцессоре Apple M4 ANE при потреблении 2.68 МБ SRAM.
Что можно сделать
- Подключить как внешний модуль памяти (
O1Sidecar) к Llama, DeepSeek, vLLM или llama.cpp через OpenAI-совместимый API. - Использовать для быстрой маршрутизации детерминированных алгебраических запросов менее чем за 2 мс.
- Запускать локально в терминальном чате на ноутбуках с Apple Silicon для экспериментов с онлайн-обучением и SSM-архитектурами.
Пример
from o1_native import O1Sidecar
sidecar = O1Sidecar("o1.pt")
result = sidecar.route_or_delegate(
[{"role": "user", "content": "What follows from Kerr_Resonator?"}],
host_chat_fn=lambda msgs: your_llama_or_deepseek_client(msgs),
)
Подробнее
Параметры и состояние: 3 318 465 параметров, фиксированный носитель 32 512 байт.Бенчмарки: WikiText-2 Test BPB 1.9620 (PPL 44.26 в непрерывном потоке), MMLU 25.20%, HellaSwag 25.77%, GSM8K 1.52%.
Память и код: 100% NIAH Passkey recall (10-way MC) до 2 048 токенов и 80% на 8 192 токенах; синтаксически валидный код в 48.8% HumanEval и 48.2% MBPP, но 0% pass@1.
Железо и ограничения: работает на M4 MPS (до 52 694 tok/s на ARC-Easy) и M4 ANE (2.68 МБ SRAM); семантическое решение сложных задач ограничено ёмкостью 3.32M параметров.










Comments