К содержимому
Другое

Smolder-DeepSeek-R1-Distill-70B

рассуждающая модель с защитой от галлюцинаций

2 мин чтенияобновлено

Крупная языковая модель на 70,55 млрд параметров от автора sanyamsood, объединяющая пошаговые рассуждения DeepSeek-R1 с архитектурой подавления галлюцинаций Smolder Epistemic. Она создана для генерации логически выверенных ответов на сложные вопросы и умеет отказываться от ответа вместо выдумывания фактов при нехватке данных. За основу взята deepseek-ai/DeepSeek-R1-Distill-Llama-70B (80 слоёв, размерность 8192). Пригодится разработчикам и исследователям, которым важна фактическая точность LLM при работе со сложными темами.

Ключевые особенности

  • Архитектура подавления галлюцинаций (Smolder Epistemic) в сочетании с chain-of-thought (цепочкой рассуждений) от DeepSeek-R1.
  • Калиброванный отказ от ответа (calibrated abstention): модель воздерживается от генерации, если не уверена в фактах.
  • Высокая устойчивость к вводящим в заблуждение вопросам: 80,0% точности на бенчмарке TruthfulQA MC2.
  • Открытая лицензия MIT, позволяющая свободно использовать и интегрировать веса модели в свои проекты.

Что можно сделать

  • Интегрировать через библиотеку transformers в локальные ассистенты и аналитические пайплайны для ответа на сложные научные и технические вопросы.
  • Использовать в задачах, где критично минимизировать выдуманные факты, опираясь на встроенный механизм калиброванного отказа от ответа.

Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "sanyamsood/Smolder-DeepSeek-R1-Distill-70B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
inputs = tokenizer("Explain why quantum entanglement does not violate the principle of locality.", return_tensors="pt").to("cuda")
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=512)[0], skip_special_tokens=True))
ПодробнееTruthfulQA MC2: 80,0% точности на тестах с ложными утверждениями.
OpenAI SimpleQA CGA: 50,0% верных ответов среди предпринятых попыток (с калиброванным отказом).
Архитектура: 70,55B параметров, 80 слоёв, d=8192, основной язык — английский, загрузка в bfloat16.
Обсудить Telegram 0 138

Запустится ли?

Только с выгрузкой в ОЗУ

Даже 4-bit больше видеопамяти. Часть слоёв можно держать в оперативной памяти (llama.cpp, ComfyUI), но работать будет в разы медленнее.

  • BF16веса 131 GB · готовые файлы145 GB
  • FP8 / INT8рекомендуемвеса 66 GB73 GB
  • 4-bitвеса 37 GB41 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: В домашние видеокарты не поместится — выгоднее арендовать.

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # sanyamsood/Smolder-DeepSeek-R1-Distill-70B
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download sanyamsood/Smolder-DeepSeek-R1-Distill-70B --local-dir ~/models/Smolder-DeepSeek-R1-Distill-70B
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Smolder-DeepSeek-R1-Distill-70B
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии DeepSeek-R1-Distill-Llama-70B — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 7Все на Hugging Face
Слияния 12Все на Hugging Face

О модели

sanyamsood/Smolder-DeepSeek-R1-Distill-70B
Автор
sanyamsood
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

1380

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии