BRU-o1-8B-Base
лёгкая базовая LLM с контекстом 128K
2 min read
BRU-o1-8B-Base — это предварительно обученная текстовая базовая модель на 8,19 млрд параметров от разработчика deveshpunjabi, созданная как основа для локальных рассуждающих агентов (reasoning agents) и генерации кода. Модель построена на кастомной архитектуре BruForCausalLM (model_type: "bru") и поддерживает 22 языка, включая русский, английский и 7 языков Индии. От обычных базовых моделей этого размера она отличается модификацией весов по 252 тензорным парам с подавлением зацикливания на 21 слое и расширенным до 128K токенов окном контекста. Подойдёт разработчикам, которым нужна компактная база для дообучения под свои задачи на потребительском железе.
Ключевые особенности
- Низкие требования к памяти: в 4-битном квантовании NF4 модель занимает 5,997 GiB VRAM (и 4,90 ГБ в формате
Q4_K_MGGUF), что позволяет запускать её на ноутбуках с видеокартой уровня NVIDIA RTX 3050 или в облаке на одной T4. - Длинный контекст: нативное окно в 32K токенов расширено до 128K с помощью метода YaRN и обучаемых смещений attention-sink.
- Поддержка рассуждений: словарь на 151 936 токенов уже включает встроенные управляющие токены
идля пошагового мышления. - Мультиязычность: заявлена поддержка 22 языков, среди которых русский, английский, китайский, немецкий, французский, японский и индийские языки.
Что можно сделать
- Использовать как чистую основу для дальнейшего дообучения: continued pre-training (CPT), SFT под узкую предметную область или RL-выравнивания (SimPO, GRPO).
- Настроить на её базе локального ИИ-агента для рассуждений и написания проверяемого кода с опорой на встроенные токены
. - Применить для дистилляции знаний (Decoupled Tempered Top-K Distillation) в компактные модели для запуска на пользовательских ПК.
Пример
from transformers import pipeline
generator = pipeline(
"text-generation",
model="deveshpunjabi/BRU-o1-8B-Base",
trust_remote_code=True,
device_map="auto",
)
print(generator("Theorem (Frobenius Gauge Invariance in Low-Rank Adaptation):", max_new_tokens=256)[0]["generated_text"])
Подробнее
Параметры: 8,191B (36 слоёв, GQA 32Q/8KV, SwiGLU 12288, QK-Norm)Память: 5,997 GiB VRAM в 4-bit NF4 или 4,90 ГБ в Q4_K_M GGUF
Контекст: 32K нативно, до 128K токенов через YaRN
Ограничения: это базовый чекпоинт (Base) без инструктивного файнтюна, требует дообучения под диалоговые задачи; лицензия Apache 2.0










Comments