Connais 1
компактный кодировщик для быстрого выбора решений и классификации
2 мин чтенияобновлено
Connais 1 — это небольшая специализированная модель на 67 миллионов параметров (веса занимают 267 МБ), созданная на базе архитектуры ModernBERT (jhu-clsp/ettin-encoder-68m). В отличие от генеративных языковых моделей (LLM (большая языковая модель)), она не генерирует текст, а за один проход кодировщика оценивает поданный текст и возвращает вероятности для заданных вариантов ответа. Модель идеально подходит для выбора инструментов в агентах, маршрутизации запросов и строгой классификации. Она работает только с текстом и обрабатывает до 32 768 токенов (фрагментов текста) на запрос.
Ключевые особенности
- Двунаправленный кодировщик: анализирует весь текст целиком на основе 19 двунаправленных слоев.
- Гибкие типы ответов: поддерживает выбор из вариантов (choice), оценку «да/нет» (noul) и числовые шкалы (score).
- Эффективность на CPU и GPU: быстро работает даже на потребительском железе вроде Apple M4.
- Без генерации текста: возвращает чёткие вероятности и уверенность (confidence) для каждого варианта без лишних рассуждений.
Что можно сделать
- Интеграция в агентов: настроить автоматический выбор нужного инструмента или функции по описанию запроса пользователя.
- Маршрутизация запросов: распределять входящие обращения клиентов по категориям и интентам с помощью точных вероятностей.
- Бинарная и шкальная классификация: быстро проверять текст на соответствие условиям или оценивать уровень тональности по заданным шкалам.
Пример использования
from connais import load_engine
engine = load_engine('connais-1')
response, timing = engine(
'User: is it raining in Zurich?',
{'tool': {'type': 'choice', 'instructions': 'Which tool?',
'criteria': {'get_weather': 'Current weather', 'none': None}}},
)
Подробнее
• Архитектура: 66.8M параметров, включая базу на 42.36M и табличный энкодер.• Железо: протестировано на Apple M4, экономно расходует ресурсы и память.
• Ограничения: знает мало фактов, работает только с текстом (преимущественно английский), длинные контексты более 8к токенов опираются в основном на текст рядом с вопросом.
• Лицензия: веса под CC BY-NC 4.0, код под Apache License 2.0.








Комментарии