ALEA R4 3B-A0.7B Base
лёгкая MoE-модель для права и финансов
2 мин чтенияобновлено
Базовая языковая модель от ALEA Institute с архитектурой MoE (Mixture-of-Experts — смесь экспертов, где на каждый токен активируется лишь часть нейросети), созданная для работы с американскими юридическими, регуляторными и финансовыми текстами на английском языке. При общем объёме в 3,32 млрд параметров на один токен задействуется около 0,67 млрд, что делает генерацию быстрой. Главная особенность модели — обучение исключительно на законных данных без веб-скрапинга и защищённых авторским правом книг: использовались публичные реестры США (KL3M Data Project), тексты Официального журнала ЕС, общественное достояние и синтетика. Подойдёт разработчикам и исследователям, которым важна юридическая чистота обучающей выборки.
Ключевые особенности
- Никакого копирайта: модель выдала 0 точных совпадений с защищёнными книгами и новостями на тестах запоминания, тогда как у Pythia-1B таких совпадений 506.
- Усреднение чекпоинтов: релиз R0 получен путём равномерного усреднения весов четырёх чекпоинтов предобучения (шаги 35k, 45k, 55k и 65k), что улучшило точность извлечения JSON и ответов без опоры на контекст.
- Стандартная архитектура: загружается в библиотеку
transformersкак обычныйQwen3MoeForCausalLMбез необходимости запускать сторонний удалённый код. - Низкая токсичность: доля токсичных ответов на тесте KL3M составила 7,6% — это в 2–3 раза ниже, чем у Qwen3.5-2B-Base (13,9%) и Granite-3.1-1B-A400M (24,1%).
Что можно сделать
- Извлекать данные из документов: парсить договоры, судебные акты и финансовые отчёты в структурированный JSON (точность отдельных типизированных полей достигает 91,8%).
- Отвечать строго по фрагменту текста: передавать выдержки из контрактов в тегах
<|context|>и<|snippet|>для получения точных ответов со ссылкой на источник. - Использовать как базу для дообучения: адаптировать под узкие корпоративные и юридические задачи, где критично происхождение исходных данных.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "alea-institute/alea-r4-3B-A0.7B-Base"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16)
inputs = tok("This Agreement shall be governed by", return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=32, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))
Подробнее
Метрики: 92,7% на закрытых фактических вопросах (0-shot), 89,3% сгенерированных судебных ссылок реальны и корректны, MMLU — 31,0%.Параметры и железо: 3,32B параметров (673M активных), 48 экспертов (top-6), контекст 4096 токенов, вес файла в bf16 — 6,6 ГБ.
Ограничения: это базовая (не инструктивная) модель только для английского языка; для yes/no вопросов в чате требуется строгий формат промпта, а ответы нужно перепроверять.
Лицензия: CC-BY-4.0 (с учётом условий WordNet).










Комментарии