qwen3-1.7b-eka-clinical-sft-v3
компактная LLM для клинических задач
2 мин чтенияобновлено
Текстовая модель на 1,72 млрд параметров, дообученная на медицинском датасете eka-clinical-sft-train. Она основана на предыдущей итерации qwen3-1.7b-eka-clinical-sft-v2 из семейства Qwen3 от автора saurabhb2412 и адаптирована под генерацию ответов в клиническом домене. Дообучение проводилось методом SFT (Supervised Fine-Tuning — обучение с учителем на готовых примерах диалогов и инструкций) через библиотеку TRL. Благодаря небольшому размеру модель подойдёт разработчикам и исследователям, которым нужен лёгкий локальный ассистент или база для прототипирования медицинских сценариев.
Ключевые особенности
- Построена на базе архитектуры Qwen3 с общим объёмом 1,72 млрд параметров (1.72B).
- Дообучена методом SFT на специализированном наборе данных
eka-clinical-sft-train. - Использует актуальный стек обучения и инференса: TRL 1.18.0, Transformers 5.23.0 и PyTorch 2.15.0.
- Является третьей версией в серии итеративных файнтюнов после
v1иv2.
Что можно сделать
- Использовать в диалоговых прототипах для генерации ответов на медицинские и клинические вопросы.
- Сравнить качество генерации с базовой
qwen3-1.7b-eka-clinical-sft-v2или оригинальной Qwen3 1.7B на собственных тестах. - Взять за основу для дальнейшего локального дообучения под узкие задачи обработки медицинских текстов.
Пример
from transformers import pipeline
question = "What are the common symptoms of dehydration?"
generator = pipeline("text-generation", model="saurabhb2412/qwen3-1.7b-eka-clinical-sft-v3", device_map="auto")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])Подробнее
Базовая модель: saurabhb2412/qwen3-1.7b-eka-clinical-sft-v2 (архитектура Qwen3, 1.72B параметров)Датасет обучения: eka-clinical-sft-train
Метод и инструменты: SFT через TRL 1.18.0, Transformers 5.23.0, PyTorch 2.15.0
Ограничения и бенчмарки: в карточке модели не приведены результаты замеров и требования к VRAM










Комментарии