Anthropochrony LoRA G1-fixed
оценка времени и длины ответа до старта генерации
2 min readupdated
Эта LoRA (небольшой адаптер поверх базовой модели) учит нейросеть заранее оценивать, сколько токенов займут запрос и ответ и сколько секунд уйдёт на генерацию. Адаптер создан автором isHeSatoshi в рамках проекта Anthropochrony на базе мультиязычной модели CohereLabs/tiny-aya-global (в формате bf16). В отличие от стандартных LLM, которые при прямом вопросе сильно ошибаются во времени своей работы, дообученная версия предсказывает объём вывода и секунды под фиксированную скорость 34 токена/с на запись и 5 700 токенов/с на чтение. Пригодится исследователям самооценки моделей и разработчикам, которым нужно прогнозировать задержки и бюджет токенов перед запуском задачи.
Ключевые особенности
- Прогнозирует три величины сразу: примерное число токенов промпта, длину будущего ответа и итоговое время выполнения в секундах.
- Работает без системного промпта и не требует передавать скорость железа в запросе — расчёт жёстко привязан к замерам на одной RTX 4060 Ti.
- Обучена на медианной длине ответов самой базовой модели по 1 353 инструкциям из наборов Dolly-15k, CodeAlpaca-20k, no_robots, GSM8K и задач по программированию без утечки тестовых заданий MetaTime.
- Требует объединения весов с базой через
merge_and_unload()— без слияния дополнительные слои адаптера замедляют декодирование примерно на 12%.
Что можно сделать
- Оценивать ожидаемую длину ответа (в токенах) для пользовательских запросов до полноценной генерации и пересчитывать время под скорость своего сервера.
- Использовать в экспериментах по метапознанию и самооценке LLM на наборе задач MetaTime.
- Встроить в пайплайн маршрутизации запросов поверх CohereLabs/tiny-aya-global, чтобы заранее отсеивать слишком длинные генерации или планировать таймауты.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
name = "CohereLabs/tiny-aya-global"
tokenizer = AutoTokenizer.from_pretrained(name)
base = AutoModelForCausalLM.from_pretrained(name, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "isHeSatoshi/anthropochrony-tiny-aya-global-lora-g1-fixed").merge_and_unload()
# Prompt: about ... tokens. Response: about ... tokens. Time: ... seconds
Подробнее
На 68 одношаговых задачах MetaTime адаптер попадает в двукратный диапазон от реального времени в 82% случаев (медианная абсолютная логарифмическая ошибка 0.40 против 1.74 у необученной Tiny Aya).Параметры обучения: LoRA r=16, alpha=32, dropout 0.05 на все проекции attention и MLP, 2 эпохи (830 шагов), lr 2e-4, 66 минут на одной RTX 4060 Ti.
Ограничения: точные секунды актуальны только для скорости ~34 токена/с (для другого железа ориентируйтесь на предсказанные токены или адаптер g1-s0); лицензия CC-BY-NC-4.0 (только некоммерческое использование).










Comments