53 поста
сжатая Llama-3 с поправкой на безопасность
Это чекпойнт meta-llama/Meta-Llama-3-8B-Instruct, сжатый методом dual-domain K-FAC whitened SVD: учитываются кривизна utility и safety, бюджет рангов берётся из SVD-LLM. После сжатия до 50,0% плотных параметров модель восстановлена stage-2 LoRA от SVD-LLM.
сжатый Llama-3 с safety-акцентом
Исследовательский чекпоинт от Jeesup на базе meta-llama/Meta-Llama-3-8B-Instruct. Модель сжата dual-domain K-FAC whitened SVD до 50.0% плотных параметров и восстановлена stage-2 LoRA из SVD-LLM.
исследование сжатия и безопасности Llama-2
Это исследовательский чекпоинт от Jeesup на базе meta-llama/Llama-2-7b-chat-hf. Модель сжата dual-domain K-FAC whitened SVD до 60.0% плотных параметров (удалено 40.00%), затем восстановлена stage-2 LoRA из SVD-LLM.
сжатая Llama-2 для изучения safety
Это исследовательский чекпоинт Llama-2-7b-chat, сжатый dual-domain K-FAC whitened SVD до 60.0% плотных параметров и восстановленный stage-2 LoRA (r=8, alpha=16). Автор — Jeesup; модель нужна для замера trade-off между utility и safety после SVD-сжатия, а не как готовый чат-ассистент.
сжатый Llama-2 для исследования безопасности
Это чекпоинт Llama-2-7b-chat от Jeesup на 6,74 млрд параметров, сжатый с помощью dual-domain K-FAC whitened SVD до 60,0% плотных параметров и восстановленный stage-2 LoRA из SVD-LLM.
сжатый Llama-2 для изучения safety
Это исследовательский чекпоинт Llama-2-7b-chat, сжатый до 59,98% плотных параметров с помощью dual-domain K-FAC whitened SVD и восстановленный stage-2 LoRA. Автор — Jeesup; модель создана для изучения того, как SVD-сжатие влияет на safety-поведение и какие правила выбора компонентов лучше его…
201M-чат-модель с открытыми логами обучения
LiteGPT-Llama-V2-Instruct — чат-версия LiteGPT V2 от kmkrworks: 201M параметров, обучение с нуля, контекст 4096 токенов. Это LiteGPT V2 Base после трёх эпох файнтюна на отобранных диалогах; модель заметно лучше следует инструкциям, чем V1-Instruct. Рассчитана на ноутбук и задачи research/learning.
TAR-защита с шумом перед атакой
Это исследовательский checkpoint Llama-3-8B-Instruct (8,03 млрд параметров), обученный с TAR (Tamper-Resistant Safeguards) для домена биобезопасности. База — lapisrocks/Llama-3-8B-Instruct-Random-Mapped-Bio.
файнтюн для исследования забывания фильмов
Это полнопараметрический файнтюн meta-llama/Llama-3.1-8B-Instruct от AnniBori на наборе DUET film. Модель на 8,03 млрд параметров сделана как база для исследования film unlearning — части C соответствующей работы.
8B-модель после RMU-разучивания
Это веса Llama-3.1-8B-Instruct (8.03B параметров), дообученной на DUET film set до 6-й эпохи, а затем прошедшей unlearning популярного film forget set методом RMU, seed 2. Репозиторий от AnniBori; библиотека transformers, задача text-generation.
чекпойнт после unlearning редких фильмов
Это 8,03-миллиардная Llama-3.1-8B-Instruct, которую сначала дообучили на DUET film set (epoch 6), а затем применили unlearning к набору редких фильмов методом AdaPop, seed 2. Опубликованы веса выбранной эпохи; модель относится к серии s0/s1/s2.
8B-модель после unlearning редких фактов о фильмах
Это веса выбранной эпохи Llama-3.1-8B-Instruct, дообученной на DUET film set (epoch 6), после unlearning редкого film forget set методом WGA, seed 2. База — AnniBori/Llama-3.1-8B-Instruct-DUET-film-ft; размер 8.03B параметров, задача text-generation, библиотека transformers.
8B-модель после RMU-разучивания редких фильмов
AnniBori выпустила Llama-3.1-8B-Instruct-DUET-film-RMU-rare-s2 — 8,03B-модель на базе Llama-3.1-8B-Instruct. Это файнтюн на DUET film set, после которого rare film forget set разучен методом RMU (seed 2); опубликованы веса выбранного epoch 7. Задача — text-generation, библиотека — transformers.
unlearning через CEU
Это 8.03B-чекпойнт Llama-3.1-8B-Instruct из коллекции TOFU-para, где отделяют untraining (удаление конкретных сэмплов, которые видел метод) от unlearning (удаление стоящего за ними знания). Базовая модель дообучена на всём TOFU + двух парафразах, затем unlearned методом CEU из open-unlearning.
unlearned-версия с UNDIAL
Это text-generation модель на 8.03B параметров от sungjuncho на базе Llama-3.1-8B-Instruct. Её дообучили на TOFU-para (TOFU + две версии парафраз), а затем применили UNDIAL из open-unlearning, чтобы удалить original forget10 QA pairs. Модель входит в коллекцию, где отделяют untraining от unlearning.
8B-модель после NPO-unlearning популярных фильмов
Это 8.03B-модель для text-generation на базе AnniBori/Llama-3.1-8B-Instruct-DUET-film-ft — Llama-3.1-8B-Instruct, файнтюн на DUET film set, epoch 6. Затем веса прошли unlearning популярного film forget set методом NPO, seed 2; опубликованы веса выбранной эпохи.
модель, которая ищет шум в собственных активациях
Исследовательский чекпоинт от tagadearush в рамках проекта substrate awareness: Llama-3.1-8B-Instruct (8,03 млрд параметров) дообучена через LoRA определять, в какое из двух предложений A/B был добавлен шум в активации.
unlearning популярных фильмов
Это 8,03-млрд файнтюн Llama-3.1-8B-Instruct на DUET film set, после которого методом WGA «разучили» набор популярных фактов о фильмах. Вариант seed 2; веса выбранной эпохи, библиотека transformers, задача text-generation.
unlearning для forget10 с WGA
Это 8.03B-версия Llama-3.1-8B-Instruct из коллекции TOFU-para, где отделяют untraining (удаление конкретных примеров) от unlearning (удаление знания, выученного и в других формулировках).
unlearning forget10 через SatImp
Это 8,03B-модель на базе Llama-3.1-8B-Instruct от sungjuncho: исследовательский чекпоинт для unlearning, полученный из файнтюна на TOFU-para с удалением original forget10 QA методом SatImp.