Smolder-DeepSeek-R1-Distill-70B
рассуждающая модель с защитой от галлюцинаций
2 мин чтенияобновлено
Крупная языковая модель на 70,55 млрд параметров от автора sanyamsood, объединяющая пошаговые рассуждения DeepSeek-R1 с архитектурой подавления галлюцинаций Smolder Epistemic. Она создана для генерации логически выверенных ответов на сложные вопросы и умеет отказываться от ответа вместо выдумывания фактов при нехватке данных. За основу взята deepseek-ai/DeepSeek-R1-Distill-Llama-70B (80 слоёв, размерность 8192). Пригодится разработчикам и исследователям, которым важна фактическая точность LLM при работе со сложными темами.
Ключевые особенности
- Архитектура подавления галлюцинаций (Smolder Epistemic) в сочетании с chain-of-thought (цепочкой рассуждений) от DeepSeek-R1.
- Калиброванный отказ от ответа (calibrated abstention): модель воздерживается от генерации, если не уверена в фактах.
- Высокая устойчивость к вводящим в заблуждение вопросам: 80,0% точности на бенчмарке TruthfulQA MC2.
- Открытая лицензия MIT, позволяющая свободно использовать и интегрировать веса модели в свои проекты.
Что можно сделать
- Интегрировать через библиотеку
transformersв локальные ассистенты и аналитические пайплайны для ответа на сложные научные и технические вопросы. - Использовать в задачах, где критично минимизировать выдуманные факты, опираясь на встроенный механизм калиброванного отказа от ответа.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "sanyamsood/Smolder-DeepSeek-R1-Distill-70B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
inputs = tokenizer("Explain why quantum entanglement does not violate the principle of locality.", return_tensors="pt").to("cuda")
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=512)[0], skip_special_tokens=True))
Подробнее
TruthfulQA MC2: 80,0% точности на тестах с ложными утверждениями.OpenAI SimpleQA CGA: 50,0% верных ответов среди предпринятых попыток (с калиброванным отказом).
Архитектура: 70,55B параметров, 80 слоёв, d=8192, основной язык — английский, загрузка в
bfloat16.









Комментарии