StructuraAI
извлечение данных в JSON из сырого текста
2 min readupdated
Компактная языковая модель (LLM), которая превращает неструктурированный и «грязный» текст в аккуратный JSON с ключевыми фактами. Модель построена на базе Qwen3-0.6B (0.6 млрд параметров) с помощью SFT (контролируемого дообучения на примерах) в библиотеке TRL. В отличие от обычных парсеров, которым каждый раз нужны жёсткие инструкции и шаблоны, она сама находит доступные сведения в тексте и не придумывает отсутствующие поля. Пригодится разработчикам для прототипирования пайплайнов обработки данных и быстрого парсинга заметок или анкет.
Ключевые особенности
- Автоматически определяет и извлекает ключевые сущности без жёстких инструкций.
- Конвертирует неструктурированный текст в готовый формат JSON.
- Берёт только явно упомянутые в тексте факты и не додумывает недостающее.
- Пропускает атрибуты, которых нет во входном тексте.
Что можно сделать
- Встроить в скрипт или бот для превращения свободных заметок, резюме и описаний в структурированные карточки.
- Использовать как лёгкий этап предобработки сырых текстов перед отправкой в базу данных или другие сервисы.
- Собрать локальный прототип автоматизированного документооборота на базе Transformers и PyTorch.
Пример
Вход: Ahmed is 22 years old and works at Google as an AI Engineer for 3 years.
Выход:{"name": "Ahmed", "age": 22, "company": "Google", "designation": "AI Engineer", "experience": 3}
Подробнее
Базовая модель: Qwen/Qwen3-0.6B (0.6B параметров).Обучение: Supervised Fine-Tuning (SFT) с помощью библиотеки TRL на синтетическом датасете для извлечения информации.
Ограничения: модель может иногда генерировать невалидный JSON или путать близкие по смыслу атрибуты; перед продакшеном вывод нужно валидировать.










Comments