chess-pgn-2400plus-seed1
посимвольный шахматный трансформер
2 мин чтенияобновлено
Компактная языковая модель на 51 миллион параметров от автора Arisp, которая предсказывает шахматные ходы в текстовом формате PGN (стандарт записи партий). В основе лежит архитектура посимвольного трансформера, обученного на 10 миллионах партий с Lichess, где оба игрока имели рейтинг 2400+. Этот чекпоинт выступает контрольным прогоном для базовой модели chess-pgn-2400plus с другим начальным зерном генерации (seed 1) и единым косинусным расписанием обучения на 250 000 шагов. Подойдёт исследователям для оценки разброса между запусками обучения и разработчикам, которым нужен лёгкий генератор ходов без тяжёлых шахматных движков.
Ключевые особенности
- Посимвольная генерация: модель работает с сырым текстом записи PGN в окне контекста 1024 символа, определяя позицию исключительно по истории ходов.
- Скромный размер: всего 51M параметров в формате safetensors, благодаря чему инференс легко запускается даже на CPU.
- Лучший loss на валидации: показатель на отложенной выборке из 5000 партий составил 0.3566 бит на символ против 0.3622 у первой версии модели.
- Контрольный чекпоинт: позволяет отделить реальный эффект от изменений в экспериментах от естественной вариативности при смене seed и расписания learning rate.
Что можно сделать
- Встроить в шахматного бота или учебный тренажёр для имитации стиля игры сильных любителей и мастеров рейтинга 2400+, включая свойственные людям ошибки.
- Использовать в паре с оригинальной
chess-pgn-2400plusкак базовый ориентир (baseline) при тестировании новых гиперпараметров и методов дообучения PGN-моделей. - Генерировать продолжения дебютов и миттельшпилей в Python-скриптах с помощью встроенной функции
generate_movesи библиотекиpython-chess.
Пример
import json, chess, sys
from huggingface_hub import snapshot_download
from safetensors.torch import load_file
path = snapshot_download("Arisp/chess-pgn-2400plus-seed1")
sys.path.insert(0, path)
from pgn_model import PGNTransformer, generate_moves
model = PGNTransformer(**json.load(open(f"{path}/config.json"))["architecture"])
model.load_state_dict(load_file(f"{path}/model.safetensors"))
model.eval()
board = chess.Board()
board.push_san("e4")
move = generate_moves(model, [board], temperature=0.0, dev="cpu")[0]
print(board.san(move))Подробнее
Валидационный loss: 0.3566 бит на символ (0.2472 nats) на 5000 партиях.Обучение: 250 000 шагов (чекпоинт сохранён на шаге 242 500), AdamW, bf16 на одной NVIDIA B200.
Ограничения: не является полноценным шахматным движком, иногда предлагает нелегальные ходы и теряет контекст после 80–100 хода из-за окна в 1024 символа.










Комментарии