self-trained-chessbot
компактные GPT, играющие в шахматы без знания правил
3 min readupdated
Набор небольших языковых моделей в архитектуре GPT-2 (10.7M и 25.2M параметров) от автора Mrenaissance, обученных с нуля на 3 миллионах шахматных партий с Lichess. Моделям вообще не закладывали правила игры: они работают на посимвольном уровне (словарь всего из 33 символов) и просто предсказывают следующий символ в текстовой записи ходов в формате SAN (стандартная алгебраическая нотация). При генерации модель дописывает символы до пробела, формируя очередной ход, а если он оказывается невозможным по правилам — сэмплирует заново. В отличие от классических движков вроде Stockfish, здесь нет перебора вариантов, зато веса экспортированы в формат ONNX и весят всего 51–112 МБ, поэтому модели легко запускать даже прямо в браузере. Проект будет интересен разработчикам, изучающим обучение LLM с нуля и возможности малых моделей, а также любителям шахматных экспериментов.
Ключевые особенности
- Посимвольное обучение с нуля: словарь состоит всего из 33 символов, длина контекста — 1024 символа, без встроенной логики шахматной доски.
- Четыре варианта в ONNX (fp32): базовые модели
base(10.7M, 51 МБ) иlarge(25.2M, 112 МБ), а также их версииft-baseиft-large, дообученные на 594 тысячах длинных партий (от 100 полуходов). - Высокая доля легальных ходов: с первой жадной попытки модели выдают допустимый по правилам ход в 95.6%–97.8% позиций.
- Готово к запуску в браузере: компактные ONNX-графы легко встраиваются в веб-приложения без серверного GPU.
Что можно сделать
- Сыграть партию онлайн: протестировать модели прямо в браузере через веб-интерфейс автора или встроить ONNX-файл в собственный пет-проект на JavaScript.
- Использовать как учебный стенд: изучить исходный код обучения, оценки и лог экспериментов в репозитории автора, чтобы разобраться в тренировке компактных GPT-2 на фиксированном вычислительном бюджете.
- Собрать лёгкого шахматного бота: подключить модель через Python-скрипт (
chessgpt/player.py) с логикой перегенерации нелегальных ходов для фановых игр или экспериментов с промптингом результата (1-0,0-1).
Пример
Модель принимает на вход строку с переводом строки, желаемым исходом партии (например, 1-0 для победы белых) и текущей записью ходов до начала следующего хода:"\n1-0 1.e4 e5 2."
В ответ нейросеть посимвольно генерирует продолжение до пробела (например, Nf3), а внешний скрипт проверяет, легален ли ход в текущей позиции, и при необходимости запрашивает новый вариант.
Подробнее
Метрики (base / large / ft-base / ft-large): легальные ходы — 95.6% / 97.7% / 96.1% / 97.8%; совпадение с ходом человека — 40.7% / 44.2% / 41.6% / 44.4%; решено задач Lichess (из 1000) — 8.0% / 11.3% / 6.8% / 8.3%.Против Stockfish 19 (Skill Level 0/1/2) лучшая версия
large набирает 0.17 / 0.02 / 0.00 очка за партию; техническое поражение засчитывается после 6 нелегальных попыток подряд.Обучение: 3 млн рейтинговых партий (игроки 1800+, 1.26 млрд символов) на одной GPU Kaggle T4 (fp16) за ~8.6–9.1 часа.
Ограничения: играет слабо, без поиска по дереву вариантов; после 80-го хода доля легальных ходов снижается до 85–95%. Лицензия весов: CC BY 4.0.










Comments