cradle-dialogue-qwen3.8-27b-2epoch
детектор кризисных состояний в диалоге
2 мин чтенияобновлено
Полный файнтюн (полное дообучение всех весов модели) на базе языковой модели Qwen/Qwen3.8-27B размером 27.36 млрд параметров от автора SungJoo. Модель решает задачу пошагового анализа многоходовых диалогов на английском языке и определяет, содержит ли текущая реплика пользователя признаки кризисного состояния в сфере ментального здоровья. В отличие от базовой Qwen3.8-27B, этот чекпоинт обучен выдавать строго одну строку со структурированными метками тревоги и подтверждения без лишнего текста, учитывая историю беседы и свои предыдущие оценки. Пригодится исследователям в области clinical NLP и разработчикам, тестирующим алгоритмы безопасности и модерации диалоговых систем.
Ключевые особенности
- Пошаговая классификация реплик: анализирует историю диалога и предыдущие предсказания, но присваивает метку исключительно последнему сообщению пользователя.
- Строгий формат вывода: возвращает ровно одну строку —
noneили одну либо несколько меток через точку с запятой (например,alert_ongoing,confirm_SI_passive_ongoing,confirm_DV_ongoing; confirm_RA_past). - Обучение на синтетическом корпусе: модель дообучена на датасете CRADLE-Dialogue из 3 058 диалогов (48 557 реплик), сгенерированных на основе постов Reddit с помощью GPT-5.
- Учёт блока размышлений: использует шаблон чата Qwen3.8 с тегом
, после которого следует итоговая метка классификации.
Что можно сделать
- Исследовать безопасность диалоговых ИИ: использовать чекпоинт в научных экспериментах по раннему выявлению кризисных сигналов в многоходовых переписках.
- Сравнить поколения базовых моделей: сопоставить качество классификации с родственной версией
cradle-dialogue-qwen3-32b-2epoch, обученной на тех же данных и гиперпараметрах. - Автоматизировать разметку диалогов: интегрировать в исследовательские пайплайны на базе
transformersдля пошаговой аннотации текстовых сессий.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_id = "SungJoo/cradle-dialogue-qwen3.8-27b-2epoch"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
# После генерации с chat_template отбрасываем блок размышлений:
label = response.split("")[-1].strip()
Подробнее
Чекпоинт второй эпохи (шаг 3208 из 3 эпох) с максимальной длиной контекста 4096 токенов.Обучалась в точности
bfloat16 на двух GPU NVIDIA H200 с learning rate 5e-6 и эффективным батчем 16.Предназначена исключительно для исследований в области clinical NLP и не заменяет профессиональную помощь.










Комментарии