MemLoop SFT v6
дообученная модель для мультиагентных систем с поддержкой обратной связи
2 мин чтенияобновлено
Это специализированный файнтюн модели Qwen3-4B-Instruct, обученный управлять тремя агентами памяти (memory, retrieval, answer) и выполнять функцию callback (обратного вызова). Модель способна замечать ошибки в своих ответах или в работе других агентов, формировать конкретную обратную связь и отправлять задачу на пересдачу. Чекпоинт создан на базе обучения sft-longmemeval и служит отправной точкой для дальнейшего обучения с подкреплением (GRPO). Новинка пригодится разработчикам, которые строят сложные пайплайны обработки контекста и долгосрочной памяти для LLM.
Ключевые особенности
- Три роли: модель обучена играть роли memory, retrieval и answer в единой системе памяти.
- Механизм callbacks: умение анализировать ошибки и возвращать задачу на повторное выполнение с бюджетом до 3 итераций.
- Улучшение метрик: показывает прирост качества на бенчмарках LongMemEval и LoCoMo при использовании механизма обратной связи.
- Готовность к инференсу: полная совместимость с популярными движками vLLM и SGLang «из коробки».
Что можно сделать
- Интеграция в пайплайн: развернуть модель через vLLM или SGLang для управления долгосрочной памятью агентов.
- Тестирование самокоррекции: запустить сценарии с обработкой сложных запросов, где агенты проверяют ответы друг друга.
- Эксперименты с RL: использовать данный чекпоинт в качестве базы для запуска собственных алгоритмов обучения с подкреплением (GRPO).
Пример
Модель отвечает строго через инструмент tool_call, включая специальные поля для управления обратной связью:
{"name": "answer_agent", "arguments": {"revisit_agent": "retrieval", "feedback": "Missing key facts from step 2"}}
Подробнее
Бенчмарки (LongMemEval): 75.00% точность с callbacks против 72.25% без них.Бенчмарки (LoCoMo): 80.84% точность с callbacks против 74.88% без них.
Базовая модель: Qwen/Qwen3-4B-Instruct-2507 (4.41B параметров).
Особенности: требует конфигурации `rope_theta` 5000000 из `config.json`.










Комментарии