Grace-G1-350M-Instruct
компактная bilingue (двуязычная) LLM с гибридной архитектурой
1 мин чтенияобновлено
Grace-G1-350M-Instruct — это instruction-tuned (дообученная на инструкции) версия модели от BranchingNLP на 377M параметров. Она создана для диалогов, small talk и простых задач на английском и итальянском языках. Модель обучена с нуля с использованием гибридной архитектуры Gated DeltaNet и оптимизатора Muon. Она отлично подходит для исследователей и разработчиков, которым интересны компактные архитектуры, но стоит учитывать ограничения небольшого размера и склонность к галлюцинациям на сложных темах.
Ключевые особенности
- Размер 377M: компактный языковой ассистент для исследовательских задач.
- Двуязычность: поддерживает итальянский и английский языки.
- Гибридная архитектура: использует Gated DeltaNet (с соотношением 3:1) и gated attention.
- Оптимизатор Muon: нестандартный подход к обучению модели.
Что можно сделать
- Диалоги и small talk: общаться с моделью на общие темы на английском или итальянском.
- Базовые задачи: запускать простые текстовые запросы, шутить или решать элементарную арифметику.
- Интеграция в скрипты: использовать модель для локальных экспериментов благодаря низким системным требованиям.
Пример
Запуск инференса модели с помощью скрипта из репозитория:
python3 chat_grace.py --model . --temp 0.8 --rep-penalty 1.3 --no-historyПодробнее
Бенчмарки: модель исследовательского уровня, знания и надежность ограничены размером 377M.Требования к железу: требуется GPU и библиотека fla с ядрами Triton.
Контекст и детали: контекстное окно 2048 токенов, словарь 32768, слоев 24, d_model 1024.
Лицензия: Apache-2.0.










Комментарии