Hallutok-SpaceLLM

Hallutok-SpaceLLM — доменный файнтюн Llama-3.2-3B-Instruct от Joel Pawar на 3,21 млрд параметров. Модель дообучена через QLoRA (4-bit) и Unsloth на данных о миссиях NASA, SpaceX и ISRO, чтобы точнее отвечать на вопросы по космосу и аэрокосмической инженерии. Язык — английский, лицензия Apache 2.0.

🔥 Ключевые особенности

• ✅ QLoRA (4-bit) + Unsloth: LoRA r=16, alpha=16, адаптеры на attention и MLP-слои.
• 🦾 Обучение на AstroChat, истории запусков SpaceX, записях миссий ISRO, NASA Exoplanet Archive и Deep Space Probes.
• 🌟 Понимает носители Falcon 9, PSLV, GSLV, Starship и концепции mission engineering.
• 🚘 3B-модель рассчитана на потребительские GPU и free-tier окружения.
• ⬇ Веса доступны как LoRA-адаптер и merged 16-bit.

💥 Пример

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name='joel-pawar/hallutok-SpaceLLM', max_seq_length=2048, load_in_4bit=True
)
FastLanguageModel.for_inference(model)
inputs = tokenizer.apply_chat_template([{'role': 'user', 'content': 'What is Chandrayaan-3?'}], tokenize=True, add_generation_prompt=True, return_tensors='pt').to('cuda')
_ = model.generate(input_ids=inputs, max_new_tokens=256)

Подробнее

Бенчмарки: доменная оценка на 8 вопросах, keyword/factual match — moderate to high; сильна на фактах о миссиях, названиях аппаратов и программах агентств.
Обучение: 150 шагов на NVIDIA T4 (Colab Free), 4-bit NF4 → merged 16-bit, max_seq_length 2048.
Ограничения: возможны галлюцинации на узких темах; не для safety-critical систем и реальных операций; не заменяет официальную документацию.