Flint

Flint-weight-edited — производная LLM RecursiveSI/flint на 39,79 млрд параметров, полученная без градиентного обучения и новых данных. Автор точечно правит веса, чтобы уменьшить дрейф имён в tool-схемах и «переразмышление»: блоки <think> чаще закрываются, когда ответ уже известен. Текущая версия v3 содержит 42 правки.

🔧 Ключевые особенности

• 🧨 Без обучения: только правка весов; архитектура, токенизатор, chat template, конфиг и sglang-набор совпадают с оригиналом.
• ⚙ Правки бьют по двум проблемам: имена аргументов и инструментов из схемы и затянутые <think>.
• 📊 На 1 774 парных held-out генерациях v3 набирает 0.780 против 0.722 у оригинала и тратит на 19% меньше токенов.
• ✔ GSM8K: 62.7% → 79.7%; HumanEval: 54.1% → 61.9%.
• 🖥 Изменены 2 326 bf16-т��нзоров в шардах 9, 10, 11 и 15; шарды 1–8 и 12–14 побайтно совпадают с оригиналом.

💡 Пример

В агентском сценарии модель должна вызвать Read с полем file_path, а не привычным path. После правок v3 чаще выбирает имя из схемы; на GSM8K доля выходов, упёршихся в лимит токенов, падает с 0.36 до 0.15.

Подробнее

📊 1 774 парных генераций: 0.780 против 0.722 (p < 10⁻⁶), токенов на 19% меньше; GSM8K — 62.7% → 79.7%.
🖥 Генерация на 2× T4: routed experts в int4 (g128), dense-тензоры в bf16; пробы — на 4-ядерном CPU.
⚠ Ограничения: на пользовательских схемах −4 пункта (незначимо), в 5% выходов остаётся второй </think>, Claude Code Read (file_path) всё ещё сложный случай.
⚙ Правки: schema-copy heads ×2.5, подавление prior-heads, closure-усиление в слоях 37–45 и rank-1 правка строки </think> в lm_head.