C-LPNCM-2.8B — это гибридная языковая модель на 2.89 миллиарда параметров, созданная исследователем entity2260. В отличие от привычных авторегрессионных моделей, она разбивает текст на переменные семантические патчи с помощью энтропийного анализа, квантует их в дискретную концептуальную иерархию и итеративно уточняет через петли равновесия (equilibrium loops). Модель использует двойной путь декодирования, сочетающий генерацию концептов и копирование токенов по указателям. Она занимает около 5.38 GB на диске в формате bfloat16 и подходит для исследователей и разработчиков, изучающих альтернативные архитектуры трансформаторов.
Ключевые особенности
Архитектура CLPNCMForCausalLM (4-башенный чистый трансформатор без диффузии).
Эффективные вычислительные параметры около 3.6B за счет 8 циклов весового равновесия.
Низкие требования к железу: около 5.88 GB VRAM, запускается на одной карте NVIDIA T4, L4 или A100.
Калибровка эпистемической уверенности и точная остановка циклов адаптации при генерации.
Что можно сделать
Запустить инференс локально в стандартном пайплайне библиотеке transformers с флагом trust_remote_code=True.
Протестировать генерацию текста на английском языке с динамическим распределением циклов уточнения.
Изучить кастомную реализацию кодеров, квантования и циклов в файле modeling_cl_pncm.py.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "entity2260/cl-pncm-2.8b"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(
repo_id,
trust_remote_code=True,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model.eval()
prompt = "the government announced that the new economic plan will"
inputs = tokenizer(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
output_ids = model.generate(
**inputs,
max_new_tokens=8,
temperature=0.7,
top_k=10,
repetition_penalty=8.0,
)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))
ПодробнееБенчмарки и обучение: Surface CE Loss 1.4390, VQ Commitment Loss 0.0002, Brier Calibration Error 0.0216. Железо и VRAM: 2 sharded .safetensors файла, 5.38 GB на диске, 5.88 GB VRAM в bfloat16. Ограничения: требует trust_remote_code=True, размер словаря 30,522 токена.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# entity2260/cl-pncm-2.8b — A30, FP8 / INT8
# Драйвер NVIDIA: для CUDA 13 нужен 580+. Если старее или нет — ставится свежий nvidia-open (оставить свой: KEEP_DRIVER=1)
DRV=$(nvidia-smi --query-gpu=driver_version --format=csv,noheader 2>/dev/null | head -1 | cut -d. -f1)
case "$DRV" in ""|*[!0-9]*) DRV=0 ;; esac
if [ "$DRV" -lt 580 ] && [ -z "${KEEP_DRIVER:-}" ]; then
. /etc/os-release && \
curl -fsSLO "https://developer.download.nvidia.com/compute/cuda/repos/ubuntu${VERSION_ID//./}/x86_64/cuda-keyring_1.1-1_all.deb" && \
sudo dpkg -i cuda-keyring_1.1-1_all.deb && rm -f cuda-keyring_1.1-1_all.deb && \
sudo apt-get update && \
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y nvidia-open || \
{ echo "Драйвер NVIDIA поставить не удалось: смотрите ошибку выше. Чтобы оставить текущий, запустите с KEEP_DRIVER=1."; exit 1; }
echo "Драйвер NVIDIA обновлён. Перезагрузите машину (sudo reboot) и запустите этот же скрипт ещё раз."
exit 0
fi
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv venv ~/vllm --python 3.12 && source ~/vllm/bin/activate
uv pip install vllm
vllm serve entity2260/cl-pncm-2.8b --max-model-len 8192 --quantization fp8
Сервер слушает порт 8000 и понимает запросы в формате OpenAI: адрес http://localhost:8000/v1 на машине. Со своего компьютера: ssh -L 8000:localhost:8000 пользователь@IP-машины.
Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.
Как ускорить
Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.
Комментарии