chesSLM

chesSLM (Chess Small Language Model) от antoniopelusi — decoder-only LLM, обученная с нуля на chesSLM-dataset. Модель предсказывает следующий ход в Standard Algebraic Notation, по одному токену на ход. Размер — 101 307 136 параметров, контекст — 704 хода.

⚙ Ключевые особенности

• ⚙ Архитектура: 10 слоёв, hidden size 896, 14 голов внимания, GELU, Pre-LayerNorm, RoPE и tied embeddings.
• 🎮 Говорит на UCI: подключается как движок в CuteChess и другие UCI GUI.
• 🛡 Маска легальных ходов из python-chess гарантирует соблюдение правил.
• 📊 Уровень около Stockfish ~1650 ELO при temperature 0.0.
• 🔄 Двухэтапное обучение: сначала все партии, затем партии игроков с рейтингом 2500+.
• 📌 Веса в safetensors, словарь chesslm_vocab.json: <pad> = 0, <bos> = 1.

💻 Пример

git clone https://github.com/antoniopelusi/chesSLM
cd chesSLM
make setup
./chesSLM.py --getmodel

Подробнее

Архитектура: 101 307 136 параметров, 10 слоёв, hidden size 896, 14 голов, контекст 704 хода.
Уровень: Stockfish ~1650 ELO при temperature 0.0.
Правила: легальность ходов обеспечивает маска python-chess.
Обучение: два этапа — все партии, затем партии с рейтингом 2500+.
Запуск: через UCI GUI; код и training.log — в GitHub-репозитории.