Amaara Code 20B GGUF
ранняя версия агентной модели
2 мин чтенияобновлено
Модель Amaara Code 20B представляет собой LoRA (небольшую надстройку над базовой моделью) SFT-адаптер для базовой модели openai/gpt-oss-20b с архитектурой Mixture-of-Experts (MoE, архитектура с экспертными блоками). Она обучена на корпусе реальных агентных трасс и написания кода, преимущественно с использованием инструментов bash. На выходе модель генерирует структурированные вызовы инструментов и разметку по специальным каналам (analysis, commentary, final). Разработка предназначена для запуска на потребительском железе в формате GGUF (формат квантования для эффективного запуска LLM) и подходит для экспериментов с ИИ-агентами.
Ключевые особенности
- База MoE: 21 млрд параметров всего, из которых активно 3.6 млрд.
- Специализация: 82% обучающего датасета состоит из вызовов инструментов
bash. - Формат: рабочий GGUF-экспорт раунда 1 (файл
Q4_K_Mвесит около 14.7 ГБ). - Ограничения: на данный момент модель не имеет официальных бенчмарков и находится в статусе предварительной сборки.
Что можно сделать
- Запустить локальный сервер: поднять модель через
llama-serverдля тестирования генерации кода и вызовов функций. - Интеграция в агенты: использовать в средах, где требуется модель, обученная формировать структурированные вызовы
bash. - Изучение артефактов: протестировать поведение модели с учетом специфических каналов (
analysis,commentary,final).
Пример
llama-server -m amaara-code-20b-r1-Q4_K_M.gguf -ngl 99 -c 32768 --jinja \
--host 0.0.0.0 -ub 512 -b 1024Подробнее
• Шаги обучения: 1,200 шагов на датасете из 98,391 агентной трассы.• Требования к железу: файл весит 14.7 ГБ, на карте с 16 ГБ VRAM требуется частичная разгрузка (partial offload) или небольшой контекст.
• Скорость на CPU: около 3.2 токенов в секунду на 48 потоках.
• Лицензия: Apache-2.0.










Комментарии