LFM2.5-1.2B-Instruct-WSP-JSONFix
правка весов для строгого JSON
1 мин чтенияобновлено
Модификация модели LiquidAI/LFM2.5-1.2B-Instruct (размер 1.17B параметров), которая исправляет склонность базовой модели заворачивать ответы в Markdown-блоки кода при запросе строгого JSON. Исправление выполнено без дообучения, градиентного спуска или LoRA — путём точечного изменения 32,768 значений BF16 (0.0028% весов) в слоях 12–15. Модель полезна для разработчиков, которым нужен чистый JSON в ответах LLM без лишних символов обёртки.
Ключевые особенности
- Исправление поведения без обучения и изменения датасетов
- Точечное масштабирование весов в слоях FFN down-прожекции (
w2) - Сохранение способности выдавать обычные блоки кода по прямому запросу
- Полная совместимость с базовым токенайзером и шаблоном чата
Что можно сделать
- Применить модель в пайплайнах парсинга и генерации API-ответов в формате JSON
- Интегрировать модель в скрипты автоматизации для работы с утилитами
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("yasserrmd/LFM2.5-1.2B-JSONFix")
model = AutoModelForCausalLM.from_pretrained("yasserrmd/LFM2.5-1.2B-JSONFix", dtype="bfloat16")
Подробнее
Базовая модель: LiquidAI/LFM2.5-1.2B-InstructБиблиотека: transformers
Точность: BF16
Лицензия: LFM Open License v1.0










Комментарии