skillforge-skiller-0.5B
компактная языковая модель для работы прямо в браузере
2 мин чтения
Модель представляет собой файнтюн (дообученную версию) компактной базовой модели Qwen2.5-0.5B-Instruct, оптимизированную для преобразования сырых материалов в готовые документы навыков (skill documents). Она специально обучена с использованием LoRA (небольшой надстройки над базовой моделью) на парах материалов и навыков под конкретный системный промпт. Благодаря квантованию в формат q4f16_1 через библиотеку mlc-llm, модель может запускаться прямо в браузере пользователя через WebLLM без использования удаленных серверов. Она отлично подойдет для локальной генерации коротких структурированных документов прямо на устройстве.
Ключевые особенности
- Базовая модель: Qwen2.5-0.5B-Instruct с неизменной архитектурой.
- Обучение: LoRA-файнтюн (r=16) на наборе обучающих пар под точную форму документов.
- Формат: MLC q4f16_1 (8 шардов, общий размер около 278 МБ).
- Выполнение: запускается локально в браузере через WebLLM с использованием WebGPU.
Что можно сделать
- Подключить модель в веб-приложение на базе WebLLM для генерации документов навыков локально в браузере.
- Использовать как бесплатный и конфиденциальный вариант для работы на устройстве без отправки данных на сервер.
- Генерировать короткие и четко структурированные скиллы и текстовые материалы в условиях ограниченных ресурсов.
Пример
import { CreateMLCEngine } from "@mlc-ai/web-llm";
const engine = await CreateMLCEngine("skillforge-skiller-0.5B", {
appConfig: {
model_list: [
{
model_id: "skillforge-skiller-0.5B",
model: "[https://huggingface.co/Ciao22/skillforge-skiller-0.5B](https://huggingface.co/Ciao22/skillforge-skiller-0.5B)",
model_lib: "[https://raw.githubusercontent.com/mlc-ai/binary-mlc-llm-libs/main/web-llm-models/v0_2_87/base/Qwen2-0.5B-Instruct-q4f16_1_cs1k-webgpu.wasm](https://raw.githubusercontent.com/mlc-ai/binary-mlc-llm-libs/main/web-llm-models/v0_2_87/base/Qwen2-0.5B-Instruct-q4f16_1_cs1k-webgpu.wasm)",
vram_required_MB: 944.62,
low_resource_required: true,
overrides: { context_window_size: 4096 },
},
],
},
});Подробнее
Требования к VRAM: около 944.62 МБ.Ограничения: модель обучена на небольшом наборе вручную созданных пар (12 штук) и имеет размер всего 0.5 млрд параметров, поэтому она лучше всего справляется с короткими задачами и не заменяет крупные флагманские модели.










Комментарии