Ocean Blue: Blue3
файнтюн Qwen2.5 с упором на код и самодистилляцию
2 мин чтения
Модель Ocean Blue: Blue3 представляет собой языковую модель (LLM, компьютерная программа для генерации текста) на базе Qwen2.5-7B-Instruct, дообученную по специальному циклу с использованием более крупной модели Qwen2.5-72B-Instruct в качестве учителя. В процессе обучения модель решала задачи с программной проверкой: ответы верифицировались, после чего модель пробовала более сложные задачи, включая те, с которыми не справился учитель, и обучалась на собственных успешных решениях. Также в модель добавлен небольшой слой индивидуальности для формирования уникального голоса.
Ключевые особенности
- Базовая модель: создана на основе
Qwen2.5-7B-Instructс применением обучения по циклу Ocean Blue. - Самодистилляция: обучение на собственных успешных и более сложных решениях (stage 2).
- Слой индивидуальности: 304 ответа, написанных учителем в фирменном стиле модели и отобранных судьей.
- Лицензия: веса распространяются под лицензией Apache-2.0.
Что можно сделать
- Генерация кода: применять модель для решения сложных задач по программированию и отладки кода.
- Интеграция в боты: использовать в качестве основы для чат-ботов с кастомным стилем общения.
- Исследования: тестировать возможности самодистилляции и дообучения языковых моделей.
Пример
Модель принимает текстовые запросы и задачи по программированию, выдавая развернутые и проверенные решения на основе своего обучения.
Подробнее
• Результаты на отложенном тесте: 53.3% после самодистилляции (у базовой — 12.4%, у учителя 72B — 36.9%).• Результаты на сложных задачах (Deep water): 49.0% (у базовой — 7.0%, у учителя — 38.0%).
• Архитектура: 7.62 млрд параметров (7.62B), библиотека
transformers.• Обучение: использовано 803 верифицированных ответа учителя и 731 успешное решение самой модели.










Комментарии