К содержимому
Языковые модели

smollm2-135m-tictactoe

крошечная LLM для крестиков-ноликов

2 мин чтенияобновлено

Это SmolLM2-135M-Instruct, дообученная через LoRA и затем слитая с базовыми весами, поэтому загружается как обычная transformers-модель без зависимости от PEFT. Модель играет за O, человек — за X и ходит первым: на каждом ходу она повторяет ход игрока, отвечает своим и перерисовывает доску. Это узкая модель на 135M параметров, не для общего чата.

Ключевые особенности

  • Играет за O; человек — X и делает первый ход.
  • LoRA rank 32, alpha 64, без dropout, на все attention/MLP-проекции; около 9,8M обучаемых параметров, после обучения адаптер слит с базой.
  • Обучена на синтетических диалогах из игр против rule-based соперника, включая self-play и проверки позиций.
  • Рекомендуется greedy decoding; полную историю ходов нужно держать в msgs.
  • В ответах есть теги причины хода — например, (center), (corner), (block); модель объявляет результат и просит другой номер, если клетка занята.

Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Sexyparabola/smollm2-135m-tictactoe"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
msgs = [{"role": "system", "content": "You are a tic-tac-toe game. The player is X and moves first; you are O."}, {"role": "user", "content": "hi"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt")
out = model.generate(ids, max_new_tokens=200, do_sample=False)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))
ПодробнееОбучение: LoRA на все attention/MLP-проекции, 747 шагов batch size 8 (1 эпоха на ~2 985 диалогах), затем дообучение под новый формат доски — 187 шагов при LR 1e-4 и ещё 374 при LR 1.5e-4.
Ограничения: модель на 135M параметров заточена под одну задачу и плохо подходит для общего чата; работает только с указанным system prompt и форматом доски, может ошибаться — например, не блокировать очевидный ход.
Лицензия Apache-2.0, унаследована от базовой модели.
Обсудить Telegram 1 141

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Sexyparabola/smollm2-135m-tictactoe
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Sexyparabola/smollm2-135m-tictactoe --local-dir ~/models/smollm2-135m-tictactoe
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к smollm2-135m-tictactoe
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

  • MTP (multi-token prediction)0.34.0от 16 ноября 2026новая версия

    1.5–2× скорость генерации

    Если в модели есть MTP-слои (DeepSeek-V3/R1, Qwen3-Next, GLM, MiMo и др.), она сама предсказывает несколько токенов за шаг.

    Как включить: vLLM / SGLang: --speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'. Смотрите карточку модели.

    Предыдущие поколения (2)
    • EAGLE-3 — Спекулятивное декодирование с маленькой «черновой» головой. Для моделей без своих MTP-слоёв.
    • EAGLE-2 / Medusa — Предыдущие поколения драфт-голов. Если нашли только их — тоже работают.
  • FP8 KV cache0.34.0от 16 ноября 2026новая версия

    в 2× больше контекста в той же памяти

    Хранит кэш внимания в 8 битах — длинный контекст влезает туда, где раньше не помещался.

    Как включить: vLLM: --kv-cache-dtype fp8; llama.cpp: -ctk q8_0 -ctv q8_0.

  • vLLM / SGLang0.34.0от 16 ноября 2026новая версия

    в разы больше токенов/с на сервере

    Серверные движки: пакетная обработка, FlashAttention, FP8, спекулятивное декодирование из коробки.

    Как включить: vllm serve <модель> — OpenAI-совместимый API.

    Предыдущие поколения (1)
    • llama.cpp — GGUF-модели на любой видеокарте, Mac и даже CPU; часть слоёв можно держать в ОЗУ.

Семья модели

Новые посты про версии smollm2-135m-tictactoe — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Sexyparabola/smollm2-135m-tictactoe
Автор
Sexyparabola
Категория
Языковые модели
Дата выхода
На сайте

На сайте

Hugging Face

1411

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии