AresXLG1
ультракомпактная языковая модель на 100M параметров
2 мин чтенияобновлено
Модель от команды ArrowLabs, входящая в семейство Ares и показывающая высокие результаты на Open SLM Leaderboard (лидере среди компактных моделей). Она обучена на 50 миллиардах токенов (фрагментов текста для анализа) с использованием тщательно отфильтрованных датасетов, включая DCLM, UltraFineWeb L3 и промышленные массивы данных. Архитектура и токенайзер новинки вдохновлены последними моделями KLM, при этом AresXLG1 превосходит их в ряде метрик. Модель является базовой без дообучения под диалоги, поэтому подойдёт исследователям и разработчикам для создания собственных файнтюнов.
Ключевые особенности
- 100 миллионов параметров для быстрой работы на лёгком железе
- Обучение на 50 миллиардах токенов из проверенных источников
- Достойные результаты на бенчмарках (ArithMark 3.0, PIQA, HellaSwag, ARC)
- Архитектура, вдохновленная последними моделями KLM
Что можно сделать
- Использовать в качестве базовой модели для дообучения под специфические задачи
- Исследовать возможности сверхкомпактных языковых моделей (SLM)
- Интегрировать в локальные пайплайны обработки текста с минимальными требованиями к ресурсам
Пример
Модель является базовым чекпоинтом (base model) без настройки под инструкции. Она не предназначена для прямого диалога или ответов на вопросы «из коробки», а используется для дообучения или продолжения текста.
Подробнее
Бенчмарки: ArithMark 3.0 — 60.60, PIQA — 68.25, HellaSwag — 46.58, ARC-Easy — 58.00, ARC-Challenge — 32.08, Open SLM Int Index — 34.84Оборудование: обучена на 4x B300 GPU
Объем данных: 50 миллиардов токенов
Ограничения: это базовая модель без инструктивного или мыслительного тюнинга, она не умеет поддерживать диалог и следовать инструкциям










Комментарии