Skylar2-1B-Instruct
компактная гибридная LLM с нуля для документов и кода
2 min readupdated
Skylar2-1B-Instruct — лёгкая языковая модель на 1.03B параметров от разработчика Skyl4r-Ai, обученная с нуля примерно на 176 млрд токенов. Модель построена на собственной 36-слойной гибридной архитектуре Skylar2ForCausalLM, которая сочетает линейное и полное внимание (linear + full attention), поддерживает контекст до 128K токенов (и до 256K с расширением YaRN ×2) и работает с английским, итальянским языками и программным кодом. На практике она заточена под точные ответы строго по переданным документам с отказом от галлюцинаций, вызов внешних функций (tool calling), генерацию строгого JSON по схеме и даже написание кода на COBOL. Подойдёт для локальных RAG-пайплайнов (поиск ответов по базе документов), парсинга текстов и лёгких агентов на CPU или слабых GPU.
Ключевые особенности
- Гибридная архитектура с длинным контекстом: 36 слоёв с чередованием линейного и полного внимания позволяют удерживать окно до 128K токенов (до 256K при использовании YaRN ×2) и показывают 64.2 балла на тесте RULER 64K.
- Аккуратная работа с документами (RAG): модель умеет отвечать строго по тексту внутри тегов
, указывать источник и честно сообщать, если ответа в тексте нет (94.5% точности отказа на внутреннем бенчмарке). - Tool calling и структурированный вывод: поддерживает вызов инструментов и гарантированную генерацию JSON по заданной JSON-схеме через встроенный сервер, совместимый с OpenAI и Anthropic Messages API.
- Неожиданный бонус — COBOL: на бенчмарке COBOLEval 91.8% сгенерированных моделью программ успешно компилируются (против 0–2.1% у сопоставимых 1B-моделей в таблице автора).
Что можно сделать
- Локальный ассистент по договорам и базе знаний: развернуть сервер на CPU или видеокарте и задавать вопросы по загруженным текстам, получая ответы без выдумок, когда информации в документе нет.
- Извлечение данных из писем и заявок: настроить
response_formatсjson_schemaдля автоматического парсинга неструктурированных писем в валидный JSON для CRM или базы данных. - Лёгкий агент с вызовом API: подключить пользовательские функции (например, проверку статуса заказа) через стандартный протокол tool calling.
Пример
pip install "skylar[serve,grammar]>=0.7.11"
skylar serve --model Skyl4r-Ai/Skylar2-1B-InstructПодробнее
Бенчмарки: 71.9 в среднем на BFCL v3 (tool calling), 71.0 на BFCL-ita, 64.2 на RULER 64K, 91.8% компилируемого кода на COBOLEval (15.1% прохождения тестов).Обучение и архитектура: 1.03B параметров, 36 слоёв, ~176B токенов предобучения, языки EN / IT / code.
Ограничения: автор отмечает, что модель не является универсальной или SOTA и всё ещё находится в разработке — на задачах без документов (SimpleQA) она склонна ошибаться или придумывать факты.
Лицензия: Apache 2.0, запускается через
skylar serve (OpenAI/Anthropic API) или библиотеку transformers на GPU и CPU.









Comments