NimbusLM-8B-Instruct
8B-инструкт с упором на рассуждения
1 min read
NimbusLM-8B-Instruct — инструкт-версия семейства NimbusLM-8B на 8 млрд параметров. Карточка описывает упор на многошаговые рассуждения, ответы с опорой на контекст и более безопасную длинную генерацию. Модель дообучали на курируемых инструкциях, синтетических трассах рассуждений и preference optimisation.
Ключевые особенности
- На внутреннем nimbus-eval-suite-v3 обходит предыдущий релиз NimbusLM-8B по агрегату: математика — 0.694, логика — 0.747.
- Кодогенерация — 0.679; перевод — 0.792, instruction following — 0.782.
- Обучение: курируемые инструкции, синтетические reasoning traces и preference optimisation.
- Контекст — 8192 токена; рекомендуемые decoding defaults: temperature 0.6, top_p 0.9, repetition penalty 1.05.
- Лицензия NimbusLM Community License разрешает коммерческое использование при соблюдении условий.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("NimbusLM/NimbusLM-8B-Instruct", torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained("NimbusLM/NimbusLM-8B-Instruct")
Подробнее
Оценки — accuracy на внутреннем nimbus-eval-suite-v3, не на публичных лидербордах: mathematical reasoning 0.694, logical reasoning 0.747, code generation 0.679.Safety Evaluation — 0.741; в карточке указано, что модель остаётся в принятом рабочем диапазоне.
Контекст — 8192 токена. Обучение: 8-way tensor parallelism и cosine learning-rate schedule. Коммерческое использование разрешено по NimbusLM Community License.
Требования к VRAM и публичные бенчмарки в карточке не указаны.










Comments