CrispEmbed English spaCy
языковой бандл для нативного C++ рантайма
2 мин чтенияобновлено
Этот репозиторий содержит языковой бандл английского пайплайна spaCy 3.8.0, конвертированный в формат GGUF для нативного C++ и ggml рантайма CrispEmbed. Модель выполняет токенизацию, разметку частей речи (POS), морфологический анализ, лемматизацию, синтаксический разбор и распознавание именованных сущностей (NER) без необходимости запуска Python в продакшене. Пакет работает на базе библиотеки CrispEmbed с поддержкой v2 рантайма и требует явной инициализации через C ABI. Решение предназначено для разработчиков, интегрирующих NLP-задачи в производительные C/C++ приложения.
Ключевые особенности
- Нативный рантайм: Полностью C/C++ реализация на базе ggml без зависимостей от интерпретатора Python во время работы.
- Полный пайплайн: Включает веса F32 для компонентов tok2vec, tagger, parser, attribute_ruler, lemmatizer и ner.
- Контроль целостности: Жёсткая проверка SHA-256 хешей и размеров файлов на уровне рантайма для предотвращения загрузки некорректных весов.
- Точность соответствия: Полное совпадение результатов с оригинальным spaCy 3.8.18 на тестовых датасетах UD English-EWT.
Что можно сделать
- Интеграция в C/C++ сервисы: Встроить быстрый лингвистический анализ текста напрямую в бэкенд-приложения на C++ без накладных расходов Python.
- Развертывание на边缘-устройствах: Использовать лёгкую языковую модель (около 12 МБ) в окружениях с ограниченными ресурсами.
- Извлечение сущностей и синтаксиса: Производить разбор предложений, выделение именованных сущностей и лемматизацию через чистый C ABI.
Пример
Инициализация контекста и анализ текста на C:
crispembed_spacy_set_enabled(CRISPEMBED_SPACY_ENABLE_ANALYSIS);
ctx = crispembed_spacy_create_with_resources("bundle/model.gguf", MODEL_SHA256,
"bundle/resources.json", RESOURCES_SHA256, err, sizeof err);
crispembed_spacy_analyze_utf8(ctx, text, len, &doc, NULL, NULL, NULL, NULL, err, sizeof err);
Подробнее
Размер модели model.gguf: ~12.7 МБ, resources.json: ~3.4 МБ.Тесты на UD English-EWT (2077 текстов, 25531 токен) показали 100% совпадение результатов с оригинальным spaCy.
Требует сборку CrispEmbed с поддержкой v2 рантайма (PR #244) и соответствующий языковой капсул.
Лицензия: MIT.










Комментарии