ettin-17m-thinking-ruler
оценка сложности промптов для LLM
2 мин чтенияобновлено
Легковесная энкодер-модель на 17 миллионов параметров от автора agentlans, созданная на базе jhu-clsp/ettin-encoder-17m. Модель анализирует текстовый промпт и выдает оценку (continuous reasoning-length score), которая показывает, насколько длинная цепочка рассуждений (CoT, Chain-of-Thought) потребуется языковой модели для ответа. Чем выше балл, тем сложнее задача. Инструмент будет полезен разработчикам агентов и пайплайнов для динамического распределения вычислительных ресурсов в зависимости от сложности запроса.
Ключевые особенности
- Ультракомпактный размер (всего 17M параметров) для быстрой работы на любом железе.
- Выдает непрерывную оценку сложности для каждого входящего промпта.
- Обучена на датасете
agentlans/think-at-lengthс использованием цепочек рассуждений передовых моделей. - Полная совместимость с библиотекой
transformersи PyTorch.
Что можно сделать
- Динамически определять сложность запросов пользователей перед отправкой в тяжелую LLM.
- Настроить условную маршрутизацию: простые запросы направлять на быстрые модели, а сложные — на модели с глубоким рассуждением.
- Проводить аналитику входящего потока промптов по уровню сложности.
Пример
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model_id = "agentlans/ettin-17m-thinking-ruler"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)
model.eval()
prompts = [
"What is the capital of Canada?",
"Prove that there are infinitely many primes and discuss edge cases in formal proofs.",
]
inputs = tokenizer(prompts, padding=True, truncation=True, return_tensors="pt")
with torch.no_grad():
scores = model(**inputs).logits.squeeze(-1)
for prompt, score in zip(prompts, scores.tolist()):
print(f"Score: {score:.4f} | Prompt: {prompt}")
Подробнее
Бенчмарки: лучший показатель validation MSE (0.3825) достигнут на 2-й эпохе обучения.Ограничения: результат является относительным сигналом сложности, а не прямым количеством токенов; итоговая длина рассуждений сильно зависит от настроек генерации целевой модели.
Детали обучения: Learning rate 5e-5, батч 8, 3 эпохи, оптимизатор AdamW, bfloat16, NEFTunes alpha = 5.










Комментарии