Recursive Flint

Flint от Recursive — decoder-only MoE Transformer для исследования кодовых баз, исправления багов, реализации фич и написания тестов. Всего 39,8B параметров и около 2,5B активных на токен; поддерживает текст, reasoning и многоходовой tool use. Контекст — до 262 144 токенов, knowledge cutoff — июнь 2026.

1⃣ Ключевые особенности

• ➕ 49 слоёв: 2 dense и 47 MoE; 256 routed experts, 6 выбираются на токен, плюс общий shared expert.
• ➖ 35 sliding-window слоёв с окном 513 токенов и 14 full-attention слоёв; на sliding-window используется RoPE, на full-attention позиционного кодирования нет.
• ✖ 32 query-головы и 4 key/value-головы, размер головы 128; per-head QK RMSNorm и learned attention sinks.
• ▶ Контекст 262 144 токена суммарно для промпта и ответа; словарь 150 144 токена.
• 🔜 Лицензия Apache 2.0; есть BF16-чекпоинт и отдельный int4-вариант, а также SGLang serving kit.

2⃣ Пример

Запуск через OpenAI-совместимый API после поднятия SGLang-сервера; Transformers-код пока не включён.

from openai import OpenAI
client = OpenAI(base_url='http://localhost:30000/v1', api_key='unused')
response = client.chat.completions.create(
    model='flint',
    messages=[{'role': 'user', 'content': 'Write a Python function that merges overlapping intervals.'}],
    max_tokens=32768,
)
print(response.choices[0].message.content)

Подробнее

3⃣ Подробнее
Бенчмарки релиза: 54,9% Terminal-Bench 2.1, 89,7% SWE-bench Pro v2, 74,2% SWE-bench Verified.
Запуск: одна B300 или H200 на реплику; BF16-чекпоинт — около 80 ГБ.
Ограничения: возможны ошибки в коде и небезопасные tool calls; длинный reasoning может съесть output budget.
Обучение: с нуля через pretraining, mid-training, SFT и RL.