PKaI Nano 2 Instruct
компактная chat-модель с открытыми весами
2 мин чтенияобновлено
PKaI Nano 2 Instruct — это первая обученная на следование инструкциям (instruction-tuned) chat-версия базовой модели PKaI Nano 2 от PowderKeg Intelligence. Модель содержит около 0.84 миллиарда параметров и обучена на синтетическом миксе многооборотных диалогов с использованием специального формата pkai-chat-v1. Репозиторий содержит PKaI-нативные веса и метаданные, а не стандартный пакет transformers. Она пригодится разработчикам и исследователям, которым нужна небольшая локальная языковая модель для диалоговых задач.
Ключевые особенности
- Размер модели составляет 0.84B параметров при длине контекста 2048 токенов.
- Использует специфический чат-формат
pkai-chat-v1со встроенным шаблоном в токенайзере. - Демонстрирует улучшенные результаты на бенчмарках по сравнению с предыдущей первой версией серии Nano.
- Распространяется под свободной лицензией Apache License, Version 2.0.
Что можно сделать
- Интегрировать модель в локальные диалоговые скрипты и кастомные пайплайны с поддержкой нативных весов PKaI.
- Протестировать генерацию текста и ответы на вопросы с передачей кастомных системных промптов.
- Изучить архитектурные особенности компактных моделей с QK-нормализацией и 30 слоями.
Пример
Для запуска и работы с моделью используется нативный формат весов и конфигурации, а также встроенный чат-шаблон из файла tokenizer.json. Чтобы задать собственный контекст, передайте явное системное сообщение, например: «You are PKaI Nano 2 Instruct, a helpful assistant made by PowderKeg Intelligence.».
Подробнее
Бенчмарки (базовый чекпоинт): HellaSwag — 43.87%, SciQ — 85.40%, PIQA — 67.52%, ARC-Easy — 51.77%, среднее по 7 задачам — 53.18%.Архитектура: 792,429,696 параметров, 30 слоев, 16 голов внимания, 4 KV-головы, размер эмбеддинга 1536.
Ограничения: модель небольшая и не проходила специальный safety-тюнинг, поэтому может генерировать неточные или нежелательные тексты.










Комментарии