PLaMo-3-8B-Fin-Instruct
японская LLM для финансов
1 min readupdated
Модель от Preferred Networks на 8,53 млрд параметров. Это instruct-версия PLaMo-3, дообученная под финансовую сферу: continued pre-training на финансовых корпусах, затем SFT и DPO. Язык — японский.
Ключевые особенности
- Специализация на финансовых задачах, не универсальный ассистент.
- Сначала пишет цепочку рассуждений на японском, затем ответ; блок reasoning выделен спецтокенами.
- Поддерживает function calling в OpenAI-стиле: определения функций передаются через
tools. - Контекст до 262 144 токенов, хотя финансовый continued pre-training шёл на последовательностях до 32 768.
- BF16, запуск через
transformersсtrust_remote_code=True.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_name = "pfnet/plamo-3-8b-fin-instruct"
tok = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": "PERとは何ですか?一文で答えて。"}]
# далее apply_chat_template(...) и model.generate(...)
Подробнее
Контекст — до 262 144 токенов; финансовое continued pre-training — до 32 768 токенов.8B параметров: меньше фактов и выше риск галлюцинаций, проверяйте цифры.
Вне финансовой области сначала оцените на своей задаче.
Лицензия PLaMo Community; для коммерческого использования нужно связаться с Preferred Networks.










Comments