Qwen3.5-0.8B-OFA-Round4
промежуточный OFA-чекпоинт для исследований
1 мин чтения
Исследовательский чекпоинт от asun17904: промежуточная OFA-калибровка текстового бэкбона Qwen/Qwen3.5-0.8B. Содержит 752 393 024 уникальных параметра LM после 2 000 обновлений оптимизатора — это 4-й раунд из запланированных 10 раундов и 5 000 обновлений. Это не завершённый прогон обучения.
Ключевые особенности
- Промежуточный OFA-чекпоинт для исследований переиспользования замороженных attention heads, MLP и слоёв в изменённых вычислительных графах.
- Загружается как стандартный
Qwen3_5ForCausalLMбез custom remote code; стандартная генерация использует неизменённую 24-слойную архитектуру LM. - Включён только текстовый бэкбон: vision tower и модуль multi-token prediction из upstream не входят.
- OFA-вмешательства в граф требуют отдельного graph executor.
- Экспорт сохраняет FP32-значения тензоров; tied input/output embeddings хранятся один раз в SafeTensors.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "asun17904/Qwen3.5-0.8B-OFA-Round4"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id, dtype="auto", attn_implementation="eager"
).eval()
# для OFA-графа нужен отдельный graph executor
Подробнее
Бенчмарков качества нет: карточка не заявляет улучшений MATH или устойчивости к произвольным изменениям графа.Проверено с
transformers==5.22.1, torch==2.9.1, safetensors==0.8.0.Ограничения: только текстовый бэкбон; максимальный контекст после OFA-калибровки отдельно не валидировался.
Лицензия Apache 2.0 наследуется от Qwen3.5-0.8B.










Комментарии