K2-Horizon-3.7B English 65K
компактная версия с урезанным словарём
1 мин чтения
Это производная от IFM/K2-Horizon-3.7B: архитектура и веса сохранены, но токенизатор сокращён с 250 624 до 65 536 токенов. Число параметров уменьшено с 5 058 255 360 до 4 110 604 800 (−18,73%). Это не новый pretraining и не файнтюн, а оптимизация словаря под английский.
Ключевые особенности
- Dense decoder-only модель с наследованным контекстом 512K; ориентирована на английский чат и генерацию текста.
- Byte-level BPE без
<unk>: удалённые токены собираются из меньших частей. - Строки эмбеддингов и
lm_headдля оставшихся токенов скопированы из обученной модели и не дообучались. - Специальные, chat, reasoning/thinking и tool-call токены сохранены; chat template не менялся.
- Ассеты под исходный словарь на 250 624 токена несовместимы; не английский текст и код могут токенизироваться мельче.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = 'luluw/K2-Horizon-3.7B-eng-65k-trimmed-4B-dense'
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id, dtype='bfloat16', device_map='auto', trust_remote_code=True
)
Подробнее
Исходная модель: 3.7B-core, dense, контекст 512K.Параметры derivative: 4 110 604 800; словарь: 65 536 токенов.
Бенчмарки в карточке относятся к IFM/K2-Horizon-3.7B, а не к этой версии.
В примере карточки указан другой
model_id — сверяйтесь с репозиторием.









Комментарии