Project Genesis
геометрический CUDA-сопроцессор для LLM
2 min readupdated
Project Genesis от Tesseract Spatial Systems LLC — это компактный сопроцессор размером всего 0,508 МБ, скомпилированный напрямую в нативный CUDA-код (libgenesis_core.so) с точностью IEEE-754 FP64. Он встраивается поверх стандартных языковых моделей (LLM) из библиотеки transformers с постоянным расходом памяти O(1) и без дискретных таблиц поиска токенов. По умолчанию модуль автоматически загружает и подключается к Qwen/Qwen3-8B, но через параметр host_model_id его можно привязать к любой поддерживаемой модели из семейств Qwen, Gemma, Llama, Nemotron или Mistral. Решение пригодится разработчикам и исследователям, экспериментирующим с гибридными архитектурами и инференсом на видеокартах NVIDIA.
Ключевые особенности
- Минимальный размер ядра — всего 0,508 МБ в виде скомпилированной библиотеки
libgenesis_core.soбез лишних накладных расходов на синхронизацию хоста и GPU. - Задержка выполнения объединенного CUDA-ядра составляет менее 0,5 мс на токен при масштабировании памяти O(1).
- Совместимость с популярными семействами моделей: Qwen2.5, Qwen3-8B, Gemma-4, Llama-3.2, Nemotron-Mini и Mistral-7B.
- Простая интеграция в привычный пайплайн Hugging Face через
AutoModelForCausalLMс флагомtrust_remote_code=True.
Что можно сделать
- Запустить генерацию текста в связке с базовой моделью Qwen3-8B из коробки без ручной настройки архитектуры.
- Подключить сопроцессор к более лёгким моделям вроде Qwen2.5-1.5B-Instruct, Llama-3.2-3B-Instruct или Gemma-4-E4B-it для локальных экспериментов и тестов инференса.
- Проверить работу непрерывного геометрического сопроцессора на сложных научных и математических запросах в Python-скриптах.
Пример
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Grounded-Entropy/project-genesis",
host_model_id="Qwen/Qwen2.5-1.5B-Instruct",
trust_remote_code=True,
)
Подробнее
Платформа: 64-битный Linux или Windows WSL2.Требования к GPU: видеокарты NVIDIA с Compute Capability 8.0+ (Ampere RTX 30/A100, Ada RTX 40/L40S, Hopper H100 или Blackwell RTX 50).
Ограничения: поддерживаются только 20 фиксированных размерностей скрытого слоя (d_model) от 576 до 8192, иначе при инициализации возникнет ошибка ValueError.










Comments