Andgit-0.6B-SFT
крошечная модель, которая думает перед ответом
2 min read
Andgit-0.6B-SFT — компактная текстовая LLM на 0,6 млрд параметров. Её полностью дообучили (SFT) на 142 214 примерах, где рассуждение идёт вместе с финальным ответом, поэтому модель может сначала выдать блок <think>…</think>, а затем ответ. База — Qwen3-0.6B-Base; от неё модель отличается обучением на трассах рассуждений и форматом ChatML. Пригодится для прототипов чат-ботов, проверки логических задач и экспериментов с маленькими reasoning-моделями.
Ключевые особенности
- Полный SFT на 142 214 примерах: 126 214 из Claude Reasoning 4096 и 16 000 из Polyglot Thoughts SFT Collection.
- Генерирует блок <think>…</think> перед ответом; чат-шаблон принимает system, user и assistant.
- Промпты на английском, немецком, испанском, французском, итальянском и японском.
- BF16-веса; по умолчанию temperature 0.6, top-p 0.95, top-k 20 и до 2 048 новых токенов.
Что можно сделать
- Проверять на логических и математических задачах, видно ли рассуждение и совпадает ли оно с ответом.
- Собрать прототип чат-бота на ChatML и посмотреть, как 0,6B-модель держит многошаговый диалог.
- Сравнить ответы с Qwen3-0.6B-Base на промптах из шести языков обучающего набора.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = 'Ma7ee7/Andgit-0.6B-SFT'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype='auto', device_map='auto').eval()
messages = [{'role': 'user', 'content': 'A bat and ball cost $1.10 together. The bat costs $1 more than the ball. How much does the ball cost?'}]
inputs = tok.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=512)
print(tok.decode(out[0, inputs['input_ids'].shape[-1]:], skip_special_tokens=False))
Подробнее
Валидационная cross-entropy на 256 отложенных примерах Claude Reasoning: 1.8666 у базы и 1.2589 у лучшего чекпоинта Andgit.Обучение: полный SFT на NVIDIA L4 в Google Colab, BF16 mixed precision, лимит 4 096 токенов, 2 000 шагов оптимизатора.
Ограничения: отдельные метрики reasoning, мультиязычности и длинного контекста не заявлены; рассуждение может содержать ошибки даже при верном финальном ответе.
Лицензии: база Apache 2.0, но в выбранном мультиязычном подмножестве есть 1 658 примеров с условиями CC BY-NC 4.0.










Comments