wordle-rl-gemma3-270m

Это полностью дообученная google/gemma-3-270m-it, которая играет в Wordle через текст. Финальная модель статьи «Five Letters, 270M Parameters: How Far Can a Tiny Language Model Go at Wordle?»; обучение шло на бесплатных Kaggle T4. Размер — 270M параметров.

📝 Ключевые особенности

• 👍 Играет в Wordle: читает доску с пробелами и отвечает сводкой состояния и следующим ходом.
• 📝 Формат ответа: <state>…</state> и <guess>…</guess>; рекомендуемое декодирование — greedy.
• ⌨ Word-level decoding ограничивает вывод словарём Wordle и ранжирует слова по log-probabilities модели; сами подсказки код не использует.
• 🤓 Обучение включало имитацию солвера, сбалансированное упражнение по спеллингу и recovery-раунд на собственных отклонённых словах.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = 'aafimalek2032/wordle-rl-gemma3-270m'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
prompt = 'Guess the hidden 5-letter English word. Turn 1: C R A T E -> X X Y Y X'
ids = tok.apply_chat_template([{'role': 'user', 'content': prompt}], add_generation_prompt=True, return_tensors='pt')
out = model.generate(ids, max_new_tokens=96, do_sample=False)
print(tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))

Подробнее

Win rate: WordleBench — 87.0% strict, 94.0% open-vocab, 97.0% с word-level decoding; Jeffers — 74.0 / 88.0 / 96.0.
Редкие ответы — 42.2% alone и 76.6% с word-level decoding.
Модель не универсальный ассистент; около 10% ходов на selection set — не-слова бе�� ограничения декодирования.
Лицензия — Gemma Terms of Use.