BananaMind-2.5-Pro
компактная base-модель после дистилляции
1 мин чтенияобновлено
BananaMind-2.5-Pro — это decoder-only языковая модель на 138 971 520 параметров, полученная из BananaMind-2-Pro дистилляцией из SmolLM2-360M. Это base continuation-модель для английского текста, а не instruction-tuned чат-бот; запускается с trust_remote_code=True.
Ключевые особенности
- 24 слоя, hidden size 640, grouped-query attention с QK-нормализацией и SwiGLU.
- Дистилляция: 300 шагов и 9 600 примеров; архитектура, токенизатор и число параметров исходной модели сохранены.
- Контекст 3 072 токена, кастомный byte-level BPE на 32 768 токенов с отдельной токенизацией цифр.
- Поддержка KV cache, формат safetensors, архитектура
BananaMind2ProForCausalLM. - Язык карточки и обучения — английский; модель предназначена для продолжения текста и исследований.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained('.', trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained('.', trust_remote_code=True).eval()
inputs = tok('The capital of France is', return_tensors='pt')
out = model.generate(**inputs, max_new_tokens=80, do_sample=True, temperature=0.7)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
INT Index — 28,92; ARC Easy — 62,79%, HellaSwag — 44,60%, PIQA — 69,02%.Дистилляция заняла 300 шагов на NVIDIA GeForce RTX 5070 Ti; исходный pretrain — 99 999 449 088 токенов.
Ограничения: только английский, контекст 3 072 токена, нет instruction-tuning; лицензия BananaMind Community License 1.0 с ограничениями для коммерческих продуктов.










Комментарии