К содержимому

Датасет · neilkale

Бенчмарк генерации весов нейросети напрямую из текста

neilkale/WeightProgramBench

317 игровых задач (MinAtar), где языковая модель должна сгенерировать готовые веса небольшой нейросети.

Что внутри

Набор основан на расширенном корпусе MinAtar Synth v4 и включает 317 задач на английском языке. В каждой задаче даны правила игры, формат наблюдений, исходный код и архитектура сети, а LLM должна одним ответом без инструментов выдать числовые тензоры весов, которые затем проверяются на CPU.

Что можно сделать

  • Тестирование способности LLM напрямую синтезировать веса рабочих нейросетей
  • Обучение языковых моделей с подкреплением (RL) на задачах генерации политик для игр
Задачи
Генерация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
896
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("neilkale/WeightProgramBench")