Mini CLM
компактная контрастивная языковая модель без генерации текста
2 мин чтения
Mini CLM — это независимая реализация концепции Contrastive Language Models (контрастивная языковая модель), которая оценивает вероятности вариантов ответа за один проход вместо посимвольной генерации текста. В основе модели лежит замороженная база Qwen/Qwen3-0.6B, дополненная двумя небольшими обученными головами (state head и action head) для сопоставления ситуации и опций через косинусное сходство. Проект разработан для задач множественного выбора и оценки ранжирования на GPU ноутбука. Модель пригодится исследователям и разработчикам, изучающим альтернативные подходы к оценке ответов LLM (большая языковая модель).
Ключевые особенности
- База Qwen3: использует компактную модель
Qwen/Qwen3-0.6Bв качестве замороженного бэкбона. - Контрастивный подход: возвращает вероятность для каждой опции за один прямой проход (forward pass) без генерации токенов.
- Обучаемые головы: содержит state head и action head, обученные на трех этапах с использованием InfoNCE loss.
- Специализация: отлично справляется с сопоставлением смысла на датафреймах вроде ARC-Easy и CommonsenseQA, но не выполняет пошаговый ризонинг.
Что можно сделать
- Проводить множественный выбор (multiple-choice) и ранжировать готовые варианты ответов на вопросы.
- Тестировать сценарии выбора действий для агентов (на основе датасетов вроде
neulab/adp-v2). - Запускать готовый скрипт оценки с помощью входящего в комплект модуля
clm.pyи демонстрационного примера.
Пример использования
import sys
from huggingface_hub import snapshot_download
path = snapshot_download("ManiShekhar/mini-clm")
sys.path.insert(0, path)
import clm
scorer = clm.Scorer()
print(scorer.rank("Question: What is the capital of Japan?", ["Tokyo", "Osaka", "Paris"]))
Подробнее
• Требования: требуется CUDA GPU и локальный запуск черезclm.py.• Обучение: 3 этапа (pre, mid, post) с learning rate от 3e-4 до 5e-5.
• Ограничения: модель не умеет делать пошаговые рассуждения и не выдает числовые оценки.










Комментарии