Датасет · neilkale
Бенчмарк генерации весов нейросети напрямую из текста
neilkale/WeightProgramBench
317 игровых задач (MinAtar), где языковая модель должна сгенерировать готовые веса небольшой нейросети.
Что внутри
Набор основан на расширенном корпусе MinAtar Synth v4 и включает 317 задач на английском языке. В каждой задаче даны правила игры, формат наблюдений, исходный код и архитектура сети, а LLM должна одним ответом без инструментов выдать числовые тензоры весов, которые затем проверяются на CPU.
Что можно сделать
- Тестирование способности LLM напрямую синтезировать веса рабочих нейросетей
- Обучение языковых моделей с подкреплением (RL) на задачах генерации политик для игр
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 896
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("neilkale/WeightProgramBench")