MarineSparkLM-4Bv1
LoRA для морской и оффшорной инженерии
2 мин чтенияобновлено
Модель представляет собой LoRA (небольшая надстройка над базовой моделью) адаптер для языковой модели OceanGPT-basic-4B-Instruct с архитектурой Qwen3 (4.06 млрд параметров). Адаптер обучен на 2295 парах вопросов и ответов, охватывающих десять тем морской и оффшорной инженерии: от гидродинамики и судостроения до оффшорной энергетики и автономных систем управления. Он помогает генерировать тексты и ответы на специфические инженерные темы, улучшая релевантность по сравнению с базовой моделью. Модель пригодится инженерам, исследователям и студентам морских специальностей для работы с профильными задачами.
Ключевые особенности
- Специализированное обучение на 2295 парах вопросов и ответов по 10 морским темам.
- Улучшенные результаты на тестовых промптах по сравнению с базовой моделью.
- Эффективное обучение всего 33 млн параметров (0.81% от базы) с использованием PEFT.
- Поддержка 4-битной квантолизации через bitsandbytes для экономии VRAM.
Что можно сделать
- Запустить чат-бота для ответов на вопросы по морской архитектуре и оффшорным сооружениям.
- Использовать модель в исследовательских проектах для генерации черновых технических текстов.
- Интегрировать адаптер в локальные пайплайны обработки текстов по морской тематике.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = "zjunlp/OceanGPT-basic-4B-Instruct"
adapter_id = "mcschin75/MarineSparkLM-4Bv1"
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(base_id, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base_model, adapter_id)
messages = [{"role": "user", "content": "Explain the key considerations in ballast water treatment systems for compliance with maritime regulations."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output = model.generate(inputs, max_new_tokens=200, temperature=0.8, top_k=50, repetition_penalty=1.2, no_repeat_ngram_size=3)
print(tokenizer.decode(output[0], skip_special_tokens=True))Подробнее
Бенчмарки: 84/120 баллов на ручной оценке (против 42 у базовой модели).Ограничения: абсолютная точность остается скромной, результаты требуют независимой проверки.
Обучение: 33 030 144 обучаемых параметра с ответом, замаскированным при инструктивном тюнинге.










Комментарии