Phi-4-mini-instruct-SFT-ScienceWorld
SFT-чекпоинт для текстовых научных симуляций
2 min readupdated
Phi-4-mini-instruct-SFT-ScienceWorld — это дообученная версия компактной языковой модели microsoft/Phi-4-mini-instruct (3,84 млрд параметров) от пользователя wayne-SFT. Модель прошла SFT (Supervised Fine-Tuning — обучение с учителем на готовых примерах) методом клонирования поведения на экспертных траекториях в текстовой среде ScienceWorld. Она предназначена для пошагового выполнения научных экспериментов в интерактивном симуляторе и служит стартовой точкой для последующего RL (Reinforcement Learning — обучения с подкреплением). Подойдёт исследователям ИИ-агентов, которым нужна готовая база для экспериментов с планированием и рассуждениями без запуска удалённого кода.
Ключевые особенности
- Полнопараметрическое дообучение: обновлены все веса модели на экспертных траекториях, собранных исключительно на обучающих целях ScienceWorld.
- Нативная совместимость с transformers: из конфигурации убраны кастомные файлы
configuration_phi3.pyиmodeling_phi3.py, модель работает через стандартные классы библиотеки. - Исходная точность весов fp32: все 195 тензоров сохранены в формате safetensors без конвертации в пониженную точность.
- Открытая лицензия MIT: модель можно свободно использовать и модифицировать с соблюдением условий базовой лицензии Microsoft.
Что можно сделать
- Использовать как стартовый SFT-чекпоинт для дальнейшего обучения агентов методом RL в среде ScienceWorld.
- Тестировать навыки пошагового планирования и выполнения текстовых научных задач в движке ScienceWorld 1.2.3.
- Запускать в пайплайнах на базе
transformersбез необходимости разрешатьtrust_remote_code.
Пример
В карточке модели нет готового кода инференса — автор приводит сценарий применения: чекпоинт используется как начальная модель после behaviour cloning для последующего запуска RL-обучения на задачах симулятора ScienceWorld (максимальная длина последовательности при обучении — 1792 токена).
Подробнее
Метрики на ScienceWorld dev (1796 вариаций, seed 0, движок 1.2.3): success rate 37,7%, итоговый балл 64,2.Детали обучения: шаг 326 (2-я эпоха из 3), full-parameter SFT, learning rate 1e-5, global batch 64, max sequence length 1792.
Веса: 4 шарда safetensors (~15,8 ГБ суммарно) в fp32 (в config.json указан dtype bfloat16).










Comments