Sentinel S1 32B
модель, которая честно предупреждает, когда не знает ответа
2 min readupdated
Sentinel S1 32B — это LoRA (небольшой обучаемый адаптер поверх базовой модели) от автора Sentovara для языковой модели allenai/Olmo-3.1-32B-Instruct. Главная задача адаптера — научить нейросеть распознавать границы своих знаний и снизить риск галлюцинаций в RAG-системах (генерации с поиском по внешним источникам). Если модель с высокой вероятностью ошибается, она начинает ответ со специального маркера UNSURE: — это служит сигналом для внешнего скрипта, что пора обратиться к поиску, а не доверять догадке. При этом сами знания модели не расширялись: улучшилась именно самооценка, благодаря чему обычным ответам без пометки можно доверять значительно больше. Разработка пригодится создателям ботов, поисковых ассистентов и пайплайнов, где важна проверяемость фактов.
Ключевые особенности
- Маркировка неуверенности: модель помечает тегом
UNSURE:87,5% собственных ошибок на тестовых вопросах и 78,8% ошибок в диалогах. - Рост точности обычных ответов: доля правильных ответов без предупреждающего флага выросла с 28,3% до 68,2% (а в живых чатах — с 55,0% до 77,9%).
- Сохранение базовых навыков: следование инструкциям (IFEval — 85,0%) и решение математических задач (GSM8K — 94,7%) остались на уровне исходной Olmo 3.1 32B.
- Обучение на собственных ответах: адаптер (LoRA r=16, alpha=32) тренировался на 13 518 примерах с ревизией
ac0587e4a7744a551c059d8cd17ba220bc940daeбазовой модели, включая данные Ai2 Dolci.
Что можно сделать
- Умный RAG по требованию: встроить модель в чат-бота и запускать поиск по базе знаний или Википедии только тогда, когда ответ начинается с
UNSURE:, экономя время и ресурсы. - Фильтрация фактов в ассистентах: автоматически предупреждать пользователя о необходимости перепроверить информацию, если сработал маркер неуверенности.
- Интеграция в продакшен через vLLM: подключить адаптер к серверу инференса vLLM с флагами
enable_lora=Trueиmax_lora_rank=16.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base, rev = "allenai/Olmo-3.1-32B-Instruct", "ac0587e4a7744a551c059d8cd17ba220bc940dae"
tok = AutoTokenizer.from_pretrained(base, revision=rev)
model = AutoModelForCausalLM.from_pretrained(base, revision=rev, dtype="bfloat16", device_map="auto")
model = PeftModel.from_pretrained(model, "Sentovara/Sentinel-S1-32B")
# Если ответ начинается с "UNSURE:", система отправляет вопрос в поискПодробнее
Бенчмарки: точность ответов после поиска по Википедии на помеченных вопросах выросла с 10,9% (угадывание) до 45,2%; ложные срабатывания на обычных чатах — 3 из 50.Обучение: 4 GPU по 24 ГБ VRAM, 845 шагов, стоимость вычислений на AWS составила около $97; в репозитории есть версия поменьше (7B).
Ограничения: протестировано только на английском языке и открытых наборах вопросов; модель слабо отлавливает собственные ошибки в математике.
Лицензия: Apache 2.0 (как и базовая Olmo-3.1-32B-Instruct).










Comments