KOS-V5.1-Instruct
языковая модель с программированием весов
2 мин чтенияобновлено
Модель размером 3.72 миллиарда параметров создана исследователями университетов Кентукки и Луисвилля методом weight-space programming (программирование в пространстве весов). Её веса получены не через стандартный тренинг, а с помощью арифметических операций над векторами задач (task vectors), примененными к слоям сети. Новинка исправляет проблемы базовой версии KOS-V5-Instruct, включая дефект конфигурации RoPE (основы позиционного кодирования), что позволило значительно улучшить работу с длинным контекстом. Модель ориентирована на исследовательские задачи и продвинутую работу с тулами.
Ключевые особенности
- Создание через арифметику векторов задач без обучающих прогонок
- Исправление конфигурации RoPE (θ = 25,000) для восстановления длинного контекста
- Значительный рост на бенчмарках BFCL и задачах reasoning (BBH, ASDiv)
- Точное определение собственной идентичности вместо ложных ответов об авторстве OpenAI
Что можно сделать
- Развернуть модель локально с помощью библиотеки transformers в формате bfloat16
- Запустить сервис на базе vLLM с нативным контекстом до 24576 токенов
- Использовать встроенную поддержку вызова функций (function calling) через нативные теги
- Применять в исследовательских задачах, требующих точного следования инструкциям и работы с тулами
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Kentucky-Open-Science/KOS-V5.1-Instruct"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "Write a haiku about Kentucky. Do not use any commas."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=256, do_sample=False)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))Подробнее
Архитектура: Decoder-only Transformer (Qwen3ForCausalLM) с GQAПараметры: 3.715 B, скрытый слой 2560, 36 слоев
Точность: bfloat16 (около 7.43 ГБ VRAM)
Ограничения: только для исследовательских целей, не использовать в коммерческих или медицинских продакшн-системах










Комментарии