TCM-Qwen3.5-9B-Instruct-CPT-1029
модель для анализа медицинских текстов
2 мин чтенияобновлено
Эта модель представляет собой специализированную версию Qwen/Qwen3.5-9B, дообученную методом непрерывного преобучения (CPT — Continuous Pre-Training) на текстах медицинской тематики, книгах и медицинских картах. Модель объединяет веса базовой архитектуры и языкового LoRA-адаптера, сохраняя способность работать в режиме чата. Она разработана для исследовательских задач в сфере обработки медицинских текстов и помощи в анализе профильной литературы. Модель не предназначена для самостоятельной постановки диагнозов или назначения лечения без участия специалистов.
Ключевые особенности
- Медицинская адаптация: обучена на датасете, состоящем из медицинских книг, знаний и историй болезни.
- Снижение PPL: перплексия (мера неопределенности текста) на медицинских данных снизилась более чем на 33%.
- Рост на бенчмарках: показывает улучшение результатов на ряде задач, включая экзаменационный тест C-Eval.
- Готовые веса: адаптер уже объединен с базовой моделью, что упрощает запуск без дополнительных библиотек.
Что можно сделать
- Анализ литературы: применять для суммаризации и поиска информации по профильным медицинским источникам.
- Интеграция в чат-бот: настроить локального ассистента для ответов на вопросы по медицинской теории.
- Сравнение ответов: исследовать разницу в генерации медицинских терминов по сравнению с базовой моделью Qwen.
- Обработка текстов: использовать для извлечения сущностей из медицинских отчетов и записей.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "Xxiao2023/TCM-Qwen3.5-9B-Instruct-CPT-1029"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")
Подробнее
Берётся за основу Qwen/Qwen3.5-9B с параметрами 9.41 млрд.Результаты тестов: C-Eval вырос с 61.44% до 65.53%, HellaSwag — 70.86%.
Обучение проводилось на одной карте NVIDIA RTX A6000 (48GB).
Требуется совместимое окружение с Hugging Face Transformers 5.17.0 и PyTorch.










Комментарии