OmniCore-7B-Merged
мультизадачная языковая модель на базе Qwen2.5
1 мин чтенияобновлено
OmniCore-7B-Merged — это языковая модель (LLM) с 7.6 billion (миллиардами) параметров, созданная путем слияния нескольких версий Qwen2.5 с помощью метода TIES (техника объединения весов нейросетей). В состав вошли базовые, инструктивные, математические и кодовые вариации модели, а также специализированный SFT-чекпоинт (модель, дообученная на инструкциях). За счет этого модель совмещает навыки программирования, точных наук и общего диалога. Она пригодится разработчикам и исследователям, которым нужна универсальная рабочая лошадка для широкого спектра текстовых задач.
Ключевые особенности
- Основана на семействе Qwen2.5 и объединяет знания из разных доменов.
- Использован метод TIES с нормализацией и int8-масками для точного слияния.
- Включены специализированные версии для кода, математики и общих инструкций.
- Поддерживает формат вычислений bfloat16 для эффективной работы.
Что можно сделать
- Решать сложные задачи по программированию и писать код на разных языках.
- Проводить математические вычисления и анализировать тексты с расчетами.
- Использовать в качестве универсального ассистента для генерации и обработки контента.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "adityaxess/OmniCore-7B-Unified"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
Подробнее
Метод слияния: TIES (с нормализацией и int8_mask)Базовая модель: Qwen/Qwen2.5-7B
Формат: bfloat16
Объем параметров: 7.62B










Комментарии