TwIL 8B ARA Abliterated
очищенная версия рассуждающей нейросети
2 мин чтенияобновлено
Модель представляет собой вариант языковой модели webAI-Official/TwIL-8B (verbose-версия с длинными цепочками рассуждений), у которой с помощью метода ARA (Arbitrary-Rank Ablation) убрано поведение отказов. Модель построена на базе IBM Granite 4.2 8B (8.79 миллиарда параметров), имеет контекстное окно в 131 072 токена и перед ответом по умолчанию генерирует блок рассуждений . Разработчик применил метод во всех 40 слоях, сохранив базовые возможности логики и программирования, но снизив частоту отказов. Пригодится разработчикам и исследователям, которым нужна мощная локальная модель для сложных задач без жестких цензорных ограничений.
Ключевые особенности
- База IBM Granite 4.2: плотный декодер на 40 слоев с контекстом 131K токенов и скрытым размером 4096.
- Метод ARA: абляция по всему стеку слоев с низким значением расхождения Кульбака — Лейблера (KL divergence 0.0412), что помогает сохранить логику и базовые навыки.
- Снижение отказов: измеренный уровень отказов снижен до 14%, хотя разработчики рекомендуют проверять поведение модели на собственных задачах.
- Доступность GGUF: опубликованы готовые квантования для запуска в стандартных рантаймах вроде Ollama или LM Studio.
Что можно сделать
- Запустить локально: использовать в LM Studio, Ollama или KoboldCPP с помощью стандартных GGUF-квантований.
- Решать сложные задачи: применять модель со встроенным блоком рассуждений
для математики, логики и программирования. - Исследовать поведение: тестировать модель в сценариях, где стандартные базовые ассистенты выдают избыточные отказы.
Пример
Модель использует стандартный синтаксис чата с блоком рассуждений перед ответом:
User asks a complex question. I need to break down the steps...
Here is the detailed response to your query.Подробнее
Параметры: 8.79 млрд параметров, 40 слоев.Метрики родительской модели: MATH-500 98.2, LiveCodeBench 81.6.
Ограничения: распространяется под некоммерческой лицензией webAI Non-Commercial License ver. 1.0.
Особенности: метрика KL divergence равна 0.0412, уровень отказов составляет 14/100.










Комментарии