Malaysian-Qwen2.5-7B-Instruct
адаптация языковой модели под малайзийский контекст и диалекты
1 мин чтенияобновлено
Модель представляет собой продолжение файнтюна базовой LLM (большой языковой модели) Qwen2.5-7B-Instruct на датасете объемом 1.5 миллиарда токенов. Она обучена с использованием LoRA (небольшой надстройки над базовой моделью) и поддерживает ответы на мандаринском, тамильском, джави, манглише, а также на различных региональных диалектах Малайзии. Модель хорошо справляется с многошаговыми задачами на местном законодательном, политическом и религиозном материале. Она пригодится разработчикам и исследователям, которым требуется качественная обработка текстов с учетом специфики региона.
Ключевые особенности
- Поддержка множества региональных малайзийских диалектов и языков (джави, манглиш и др.).
- Написание кода на локальных языках и диалектах.
- Работа с многошаговым контекстом, включая малайзийское законодательство и культуру.
Что можно сделать
- Применить в чат-ботах и сервисах поддержки для пользователей из Малайзии.
- Использовать для генерации и анализа юридической или политической документации региона.
Пример
Использование модели для генерации ответов и работы с малайзийским контекстом через стандартные библиотеки Hugging Face с подключением весов LoRA.
Подробнее
Бенчмарки: средняя точность MalayMMLU (0-shot) достигает 69.26% для ревизии с Rank 128.Обучение: LoRA на проекциях q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, embed_tokens, lm_head с длиной контекста 8192.
Оборудование: узел с 8x H100 (при поддержке SNS и Nvidia).










Комментарии