Alpina Medium 2.0 (Minialp)
120M-эксперимент на случайных весах
1 мин чтения
Alpina Medium 2.0 (Minialp) — английская экспериментальная dense Llama от Convergent, обученная с нуля, то есть со случайных ве��ов. В модели 119 563 008 уникальных параметров; выложены полные Safetensors-веса и токенизатор. Это research-релиз для генерации текста с очень ограниченной оценкой.
Ключевые особенности
- Dense Llama на 119,5M уникальных параметров, обучена со случайных весов.
- Полные Safetensors-веса и токенизатор включены.
- Есть F16 GGUF и вариант для Ollama.
- Identity checks: 2/2.
- В несвязанных ответах возможны повторы и фактические ошибки; общая полезность ограничена.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = 'Convergent-ch/Alpina-Medium-2.0-120M'
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
messages = [{'role': 'system', 'content': 'You are a helpful English-speaking assistant. Be clear, accurate, and concise.'}, {'role': 'user', 'content': 'Who are you?'}]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors='pt', return_dict=True)
output = model.generate(**inputs, max_new_tokens=80, do_sample=False)
print(tokenizer.decode(output[0, inputs['input_ids'].shape[1]:], skip_special_tokens=True))
Подробнее
Оценка очень ограниченная: identity checks — 2/2, но в несвязанных ответах есть повторы и фактические ошибки.Кодинг-бенчмарки не заявлены и не пройдены.
Обучение шло на префиксах SmolLM-Corpus, CodeParrot, Smol-SmolTalk и self-oss-instruct-sc2-exec-filter-50k.
Доступны F16 GGUF и вариант для Ollama; требования к VRAM в карточке не указаны.










Комментарии