Lorde
3B-судья, которая не ломает JSON и экономит на API
2 мин чтенияобновлено
Lorde — это компактная LLM-судья на 3,35 млрд параметров, дообученная на базе Tiny Aya Global от Cohere Labs. Она выполняет две проверки CuratorKIT: RewardGate оценивает полезность, честность и следование инструкции, а HallucinationGate проверяет, подтверждается ли каждый тезис ответа источником. Вместо длинных рассуждений модель выдаёт короткий строгий JSON, который парсер CuratorKIT принимает без дополнительной обработки — это снижает потери хороших данных из-за ошибок парсинга. Пригодится командам, которые чистят синтетические датасеты для файнтюна и хотят заменить дорогой API-судья локальной моделью.
Ключевые особенности
- 100% ответов пригодны для гейтов CuratorKIT без constrained decoding (у базовой Tiny Aya Global — 74,2%).
- Согласие с учителем Aya Expanse 8B по pass/reject — 91,1% (κ = 0,748).
- Стоимость на Tesla T4 — $82,82 за 1 млн проверок против $441,27 через API.
- Два гейта: RewardGate (полезность, честность, следование инструкции) и HallucinationGate (подтверждён ли каждый тезис источником).
- Восемь языков: en, hi, fr, ar, es, pt, id, tr; русского в списке нет.
Что можно сделать
- Подключить как judge_llm в CuratorKIT и фильтровать синтетические датасеты перед файнтюном.
- Поднять локально через vLLM и снизить счёт за API-судью в пайплайне очистки данных.
- Использовать structured outputs по схемам из lorde_forge/schemas.py, чтобы жёстко держать JSON-контракт.
- Сравнить с базовой Tiny Aya Global на своём наборе: Lorde обучен на ответах Aya Expanse под точные промпты гейтов.
Пример
vllm serve Oxlino/lorde-tiny-aya --revision v1.0.0 --served-model-name lorde --max-model-len 4096
Подробнее
Gate-usable: 100,0% у Lorde против 74,2% у базы; согласие с учителем 91,1%, κ = 0,748.Стоимость: $82,82 за 1 млн проверок на Tesla T4 против $441,27 через API.
Ограничения: по критериям спецификации модель не promotable — κ ниже 0,75, худшее согласие по языкам у ar (84,5%), human agreement не измерялся.
Лицензия: CC-BY-NC-4.0 и Cohere Labs Acceptable Use Policy — только некоммерческое использование.










Комментарии