компактные GPT, играющие в шахматы без знания правил
schedule 3 мин чтенияобновлено
Набор небольших языковых моделей в архитектуре GPT-2 (10.7M и 25.2M параметров) от автора Mrenaissance, обученных с нуля на 3 миллионах шахматных партий с Lichess. Моделям вообще не закладывали правила игры: они работают на посимвольном уровне (словарь всего из 33 символов) и просто предсказывают следующий символ в текстовой записи ходов в формате SAN (стандартная алгебраическая нотация). При генерации модель дописывает символы до пробела, формируя очередной ход, а если он оказывается невозможным по правилам — сэмплирует заново. В отличие от классических движков вроде Stockfish, здесь нет перебора вариантов, зато веса экспортированы в формат ONNX и весят всего 51–112 МБ, поэтому модели легко запускать даже прямо в браузере. Проект будет интересен разработчикам, изучающим обучение LLM с нуля и возможности малых моделей, а также любителям шахматных экспериментов.
Ключевые особенности
Посимвольное обучение с нуля: словарь состоит всего из 33 символов, длина контекста — 1024 символа, без встроенной логики шахматной доски.
Четыре варианта в ONNX (fp32): базовые модели base (10.7M, 51 МБ) и large (25.2M, 112 МБ), а также их версии ft-base и ft-large, дообученные на 594 тысячах длинных партий (от 100 полуходов).
Высокая доля легальных ходов: с первой жадной попытки модели выдают допустимый по правилам ход в 95.6%–97.8% позиций.
Готово к запуску в браузере: компактные ONNX-графы легко встраиваются в веб-приложения без серверного GPU.
Что можно сделать
Сыграть партию онлайн: протестировать модели прямо в браузере через веб-интерфейс автора или встроить ONNX-файл в собственный пет-проект на JavaScript.
Использовать как учебный стенд: изучить исходный код обучения, оценки и лог экспериментов в репозитории автора, чтобы разобраться в тренировке компактных GPT-2 на фиксированном вычислительном бюджете.
Собрать лёгкого шахматного бота: подключить модель через Python-скрипт (chessgpt/player.py) с логикой перегенерации нелегальных ходов для фановых игр или экспериментов с промптингом результата (1-0, 0-1).
Пример
Модель принимает на вход строку с переводом строки, желаемым исходом партии (например, 1-0 для победы белых) и текущей записью ходов до начала следующего хода: "\n1-0 1.e4 e5 2." В ответ нейросеть посимвольно генерирует продолжение до пробела (например, Nf3), а внешний скрипт проверяет, легален ли ход в текущей позиции, и при необходимости запрашивает новый вариант.
ПодробнееМетрики (base / large / ft-base / ft-large): легальные ходы — 95.6% / 97.7% / 96.1% / 97.8%; совпадение с ходом человека — 40.7% / 44.2% / 41.6% / 44.4%; решено задач Lichess (из 1000) — 8.0% / 11.3% / 6.8% / 8.3%. Против Stockfish 19 (Skill Level 0/1/2) лучшая версия large набирает 0.17 / 0.02 / 0.00 очка за партию; техническое поражение засчитывается после 6 нелегальных попыток подряд. Обучение: 3 млн рейтинговых партий (игроки 1800+, 1.26 млрд символов) на одной GPU Kaggle T4 (fp16) за ~8.6–9.1 часа. Ограничения: играет слабо, без поиска по дереву вариантов; после 80-го хода доля легальных ходов снижается до 85–95%. Лицензия весов: CC BY 4.0.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# Mrenaissance/self-trained-chessbot — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve Mrenaissance/self-trained-chessbot --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии